Deepfakes是将混合源材料结合在一起生成合成结果的图像和视频。它们的使用范围从琐碎到恶意，因此检测它们的方法备受追捧，最新技术通常基于使用原始图像和合成图像对训练的网络。一种新方法通过使用以独特方式创建的新合成图像来训练算法，从而打破了这种惯例。这些新的训练数据被称为自混合图像，可以明显改进用于发现深度伪图像和视频的算法。
他们说，眼见为实。然而，自从有记录的视觉媒体出现以来，总是有人试图欺骗。事情从琐碎的小事，如UFO的假电影，到更严重的事情，如从官方照片中删除政治人物。Deepfakes只是一系列操纵技术中的最新技术，它们传递令人信服的现实的能力远远超过了发现它们的工具的进步。
东京大学计算机视觉与媒体实验室的山崎敏彦副教授和研究生KaedeShiohara探索与人工智能相关的漏洞。deepfakes的问题引起了他们的兴趣，他们决定研究改进合成成分检测的方法。
Yamasaki说：“有许多不同的方法来检测深度假货，也有不同的训练数据集可用于开发新的数据。”。“问题是，现有的检测方法往往在一个训练集的范围内表现良好，但在多个数据集上表现较差，更重要的是，在与最先进的真实世界示例进行对比时表现较差。我们认为，改进成功检测的方法可能是重新考虑使用训练数据的方式。这导致我们开发了我们称之为自混合图像的技术（也称为SBI）。“”
deepfake检测的典型训练数据由成对的图像组成，包括一个未操纵的源图像和一个对应的伪造图像鈥攆例如，某人的脸或整个身体已被其他人的脸或身体所取代。使用此类数据进行的训练将检测限制在某些类型的视觉损坏或人工制品上，这些损坏或人工制品是由操纵造成的，但没有检测到其他损坏。因此，他们对包含合成图像的训练集进行了实验。通过这种方式，他们可以控制训练图像中包含的伪影的种类，这反过来可以更好地训练检测算法以发现此类伪影。
Yamasaki说：“从本质上讲，我们从已建立的数据集中获取了清晰的人的源图像，并引入了不同的细微瑕疵，例如，调整图像大小或重塑图像。”。“然后，我们将该图像与原始不变源进行混合。混合这些图像的过程也将取决于源图像的特征鈥攂从根本上讲，将制作一个遮罩，以便仅操纵图像的某些部分将其转换为混合输出。许多SBI被编译到我们修改后的数据集中，然后我们将其用于训练探测器。“”
研究小组发现，修改后的数据集将准确检出率提高了约5鈥?2%，取决于与之进行比较的原始数据集。这些听起来可能不像是巨大的改进，但这可能会在有恶意意图的人成功或未能以某种方式影响其目标受众之间产生差异。
山崎说：“当然，我们希望改进这个想法。目前，它在静态图像上效果最好，但视频中可能存在我们还无法检测到的时间伪影。此外，深度假货通常只是部分合成的。我们也可能探索检测完全合成图像的方法。”。“然而，我设想，在不久的将来，这种研究可能会应用到社交媒体平台和其他服务提供商，以便他们能够更好地用某种警告标记可能被操纵的图像。”
