「ディープフェイクのレビュー」だけでも、検索で山ほど出てきますが、下記をとりあえす紹介。(検出部分についてチャッピーにかけた部分を抜粋
上記論文の「検出技術のまとめ」がよくまとまっています。
研究者たちが試みているアプローチを整理すると、大きく以下のカテゴリに分けられます。
1. 空間的・時間的特徴分析
- 空間特徴（フレーム単体の特徴）
画像の中に残る不自然なアーティファクト（肌の質感、目の瞬きの異常、境界の乱れなど）を検出。 - 時間的特徴（フレーム間の特徴）
動画の連続性に注目し、顔の動きや表情の不自然な変化を追跡。 - 代表研究：Lu & Wei の空間-時間モデルは、フレーム内アーティファクト検出とフレーム間の連続性解析を組み合わせ、高精度を実現。ただし顔が欠けている場合などには誤判定が生じやすい。
2. 生体信号ベース（rPPG：リモート光電脈波）
- 原理：皮膚の微細な色変化から心拍リズムを推定。フェイクでは自然な血流パターンが再現されにくい。
- 特徴：映像操作により心拍の揺らぎが乱れる → 検出に利用可能。
- 課題：照明条件や映像品質に左右されやすく、日常的な環境での安定性に限界あり。
3. 軽量化モデル
- 目的：高精度を維持しつつ、計算コストを抑える。
- 例：LDFNet
- 局所的な視覚アーティファクトとグローバルなテクスチャ情報を融合。
- パラメータ数が少なく、リアルタイム応用に適している。
- 限界：データセットを越えた汎用性はまだ十分でない。
4. ノイズ・テクスチャ解析
- 着眼点：偽造によって画像のノイズ分布や周波数成分が変化する。
- 方法：
- 高周波ノイズやテクスチャの乱れを検出。
- 「二重周波数変換モジュール」や「ノイズ不整合検出」を用いる手法も提案されている。
- 効果：圧縮や加工に強い一方で、未知の生成モデルへの一般化には課題。
5. マルチモーダル検出（音声＋映像）
- 目的：音声と映像の同期のズレを利用。
- 手法：音声特徴と映像特徴を同じ潜在空間に埋め込み、クロスモーダルな注意機構で不一致を検出。
- 強み：単一モードに比べ精度が高い。
- 弱み：多様な音声・映像条件での汎用性確保が課題。
6. Vision Transformer (ViT)
- 特徴：画像全体をグローバルに捉え、局所的特徴に偏らない。
- 成果：Stable DiffusionやStyleGAN2のような新しい生成モデルに対しても高精度を達成（F1スコア99.9%）。
- 限界：データ多様性や計算コストの面で改善余地あり。
7. ブロックチェーン＋フェデレーテッドラーニング
- アプローチ：
- 分散学習（Federated Learning）でデータを共有せずに学習 → プライバシー保護。
- ブロックチェーンでモデル更新の正当性を担保。
- 効果：複数組織間で安全に高精度なモデルを構築可能。
- 課題：汎用性とスケーラビリティに制約あり。
8. 新しい研究動向
- Diffusionモデル応用：本来は生成に使うモデルを逆に検出に利用。
- グラフニューラルネットワーク (GNN)：顔の特徴点をノードとして扱い、関係性から偽造を判別。
- 説明可能AI (XAI)：Grad-CAMなどを用いて「なぜその判定に至ったか」を可視化し、司法や監査で利用可能にする。
まとめ
検出技術は大きく 「画像・映像の不自然さを拾う手法」 と 「生体信号やクロスモーダル特徴を利用する手法」 に分かれ、さらに 軽量化・汎用化・説明可能性 が新しい研究の焦点になっています。
しかし「生成技術の進化が常に検出を上回る」ため、今後は複数手法の組み合わせ（マルチモーダル＋XAI＋軽量化）が有望とされています。
ということです。それぞれの検出手法を観ると、生体信号は、対象が生体向き、時間的特徴は動いているもの向き。一方で、Transformerを使った方がより汎用的だし精度も高いが計算コストがかかる、軽量化モデルは計算コストがかからずリアルタイム検出向き、ってところでしょうか。
＼ 最新情報をチェック ／
