生成AIを悪用したなりすまし攻撃の実態と企業リスク
1. はじめに
近年、生成AI技術の急速な発展と実用化の広がりにより、業務の高度化や効率化が大きく進む一方で、その技術を悪用した攻撃も同様に高度化が進み、より巧妙になっています。とりわけ、従来のようにシステムの脆弱性を突くのではなく、意思決定を行う人間を直接欺く「なりすまし型」の攻撃は、企業活動に重大な影響を及ぼす可能性があります。
これまで組織内外における情報のやり取りでは、声や話し方、顔、文体といった本人確認要素が、暗黙の信頼基準として機能してきました。明示的な認証を伴わない場面であっても、「相手が誰であるか」を直感的に判断できることが、迅速な意思決定と業務効率を支えてきました。
しかし現在、その前提はもはや安全とは言えません。生成AIおよびディープフェイク技術の急速な進化により、特定人物の声・話し方・文章・表情・口の動きまでを高精度に再現することが技術的に可能になりました。すでに海外では、生成AIの映像と音声を用いた偽の役員会議により巨額資金が流出する事例が発生しています。これは将来起こり得る脅威ではなく、現実に成立し、実被害を伴っている攻撃手法です。生成AIの普及に伴い、同様の手口が広範に拡散する可能性は高いと考えられます。
AIなりすまし攻撃の本質は、システムを破ることではなく、人の判断を破ることにあります。従来のサイバー攻撃は、不正通信やマルウェア実行、脆弱性悪用といった技術的痕跡を伴いました。一方、本攻撃は正規の会議、正規のメール、正規の承認プロセスの中で成立します。各段階の操作は一見すると正規業務と区別がつかず、即時での検知は困難です。
防御技術が高度化するほど、攻撃者は最終承認を行う人間の意思決定プロセスそのものを標的とする構造へと移行しています。この構造変化を認識しないまま従来型の対策のみを強化しても、本質的なリスク低減にはつながりません。AIなりすまし攻撃は、個人の注意力の問題ではなく、組織設計・承認フロー・権限設計の問題として捉えるべき段階に入っています。対策が後手に回れば、単発の誤判断が重大な経営インパクトへと直結する可能性があります。
本記事では、このような背景を踏まえ、今後技術の進歩で高度化していくと予想されている「AIなりすまし攻撃」に焦点を当てます。既存のセキュリティ対策では見落とされがちなリスクを整理するとともに、技術的に検知可能な従来型攻撃とは異なり対処が難しい本脅威に対し、SOCとしてどのような視点で捉え、注意喚起や運用上の対策が求められるのかについて紹介いたします。
2. AIなりすまし攻撃の概要
AIなりすまし攻撃とは、生成AIやディープラーニング技術を用いて、特定の人物が持つ声・文章・表情・振る舞いといった特徴を学習・再現し、実在する人物になりすますことで不正な行為を実行させる攻撃手法の総称です。また近年では、ディープフェイク技術を用いた映像によるなりすましも確認されており、顔画像や動画を基に生成された映像によって、オンライン会議上で本人が発話しているかのように見せかけることが可能となっています。攻撃の種類は、大きく分けて以下の4種類があります。
(1)音声型なりすまし攻撃
電話や音声メッセージを通じて、上司や取引先などを装い連絡を行う手法です。近年では、生成AIによる音声合成技術を悪用し、実在人物の声を模倣することで信頼性を高めるケースも確認されています。緊急性や権限を強調することで冷静な判断を鈍らせ、不正送金や機密情報の口頭伝達を誘導する点が特徴です。
(2)文章型なりすまし攻撃（メール／チャット）
メールやビジネスチャット上で、過去のやり取りを模した文体や表現を用い、正規の業務連絡と誤認させる手法です。リンクのクリックや認証情報の入力、内部情報の提供などを目的とするケースが確認されています。
(3)映像型なりすまし攻撃（ディープフェイク会議）
ディープフェイク技術を用いて、特定人物の顔や表情、口の動きを再現し、オンライン会議上で本人が参加しているかのように装う手法です。役員会議や重要な意思決定の場を演出するケースが確認されており、信頼性が非常に高い点が特徴です。
(4)複合型なりすまし攻撃（マルチチャネル型）
複数のコミュニケーション手段を段階的に使い分ける手法です。事前にメールやチャットで関係性を構築した後に音声連絡を行うなど、信頼度を高めたうえで最終的な不正行為を実行させる特徴があります。
図1 複合型なりすまし攻撃の手法
3. 攻撃の実態と技術的手法
AIなりすまし攻撃は、音声・文章・映像、あるいはそれらを組み合わせた複合的な形態で実行されます。表面的には使用される技術や演出手法に違いがあるものの、実際のインシデントを見ると、複数の事例からいくつかの共通傾向がみられます。また、攻撃の成否を分けているのは手段そのものではなく、人・業務・組織構造に内在する一定の弱点です。
以下では、攻撃形態の差異には踏み込まず、実際の被害事例で共通して確認されている要素に着目し、AIなりすまし攻撃が成立する背景にある3つの共通点を整理します。
(1)公開・半公開情報から「本人確認要素」を収集している
音声型・文章型・映像型のいずれの攻撃においても、攻撃者はまず対象となる人物の情報収集を行います。この際に利用されるのは、社内外の公式サイト、SNS、動画配信、オンライン会議の録画、メールのやり取りなど、正規の業務や広報活動の中で自然に公開されている情報です。声の抑揚や話し方、文章の言い回し、顔の表情や癖といった要素は、本人確認の根拠として長らく信頼されシステムてきましたが、同時に生成AIの学習素材としても十分な品質を持っています。
(2)標的が「システム」ではなく、「人間」
AIなりすまし攻撃は、受信者が普段の業務で行っている判断を逆手に取る形で成立します。声や映像といった、日常業務の中で無意識に行われている判断が、攻撃の前提条件として利用されています。攻撃者は違和感を与えないように緊急性の演出や限定的な指示などを組み合わせ、確認行為を省略させる方向へ誘導します。その結果、技術的な検知をすり抜け、最終的な判断が人に委ねられる状況が生み出されてしまうことになります。
(3)攻撃が段階的かつ連続的に設計されている点
AIなりすまし攻撃の中には、単発の接触で完結するものではなく、複数の段階を踏みながら信頼を形成し、最終的な行動へと誘導する構造を持っています。攻撃者は最初から不正行為を要求するのではなく、事前連絡や軽微な依頼を通じて、対象者に違和感を抱かせない状態を作り出します。最終段階では、緊急性や限定性を強調した指示が出され、不正送金の承認や機密情報の共有といった実行行為が求められます。この一連の流れは、人の判断プロセスを前提に設計された段階的な攻撃シナリオであり、AIなりすまし攻撃に共通する特徴です。
図2 AIなりすましによる攻撃の流れ
4. 実際の事例と被害影響
【事例1】APTグループ※1によるZoom偽装とAIディープフェイクを組み合わせた攻撃
・概要
Huntress※2は2025年6月11日、パートナーからエンドユーザーによる悪意あるZoom拡張機能のダウンロード疑惑について報告を受け調査を実施。その結果、生成AIを用いたなりすましを起点として、利用者の判断を欺き、マルウェアを自らインストールさせる設計であったことが発覚しました。また、被害者は数週間前からフィッシングによる関係構築型の事前誘導を受けており、最終的に偽装Zoom環境へ誘導されていました。
※1：高度かつ継続的にサイバー攻撃を行う組織化された攻撃集団
※2：主に中小企業（SMB）向けにマネージド型のサイバーセキュリティサービスを提供している米国企業
・発生
被害者が生成AIによる人物を用いた偽Zoom会議に誘導され、業務連絡と誤認したまま偽の拡張機能をインストールしたことにより、端末へのマルウェア感染が発生しました。本件は、AIなりすましを入口とした侵害事案です。
・攻撃手口
攻撃者はTelegramを通じて信頼関係を構築した後、Zoom会議へ誘導しました。会議画面には生成AIによるディープフェイク映像が表示され、実在人物を装って正規業務の延長のように振る舞いました。その中で「音声トラブル対応」を口実に、偽のZoom拡張機能のインストールを要求。被害者がこれを実行したことにより、端末へマルウェアがダウンロードされ、感染が成立しました。
・被害
AppleScriptを用いたシェル履歴の無効化を行い、ユーザーに繰り返しシステムパスワードの入力を要求することで管理者権限を取得されました。また対象の端末にバックドア、キーロガー、暗号資産狙いの情報窃取マルウェアなど多数の不正プログラムも発見されました。
・恒久対策
生成AIを悪用した高度ななりすまし攻撃に備え、正規更新や承認済み拡張機能以外を実行させないアプリケーション制御の強化を実施されました。あわせて、EDR／XDRにより会議ツール起点の不審なスクリプト実行や外部通信を重点監視し、自動遮断を行えるようにしました。さらに、検知ログの継続的な分析と、会議中に更新や追加インストールを求められても対応しない運用ルールの周知により、技術面と人的要因の双方から被害抑止を可能にしています。
【事例2】Arup社※3におけるAIなりすまし詐欺
・概要
2024年1月頃、エンジニアリング企業 Arupを標的として、生成AIによるディープフェイク映像および音声を用いて企業幹部になりすました攻撃が確認されました。攻撃者は正規業務を装ったオンライン会議を通じて送金を指示し、その結果、巨額の金銭被害が発生した高度なAIなりすまし詐欺事例です。
※3：イギリスに本拠を置く世界的なエンジニアリング・コンサルティング企業
・発生
2024年、Arup社の香港拠点において、財務担当者が生成AIで社内幹部を装った偽映像によるオンライン会議に参加し、正規業務と誤認したまま送金指示に従ったことで本インシデントが発生しました。
・攻撃手口
攻撃者は「機密取引に関する連絡」として、幹部を名乗り複数回にわたって被害者とやり取りをして信頼関係を構築。その後、生成AIで作成したディープフェイク映像と音声を用いてCFOを含む複数の社内幹部になりすまし、オンライン会議を実施しました。会議では業務理由と緊急性を強調して送金を指示し、被害者に不正送金を実行させました。
・被害
本件においては、被害者が一連の手続きを正規業務の一環であると誤認したまま、複数回にわたり送金処理を実施していたことが確認されています。送金先は複数の銀行口座に分散されており、結果として、当時の報道によれば約2億香港ドル（約40億円相当）にのぼる資金が不正に流出したとされています。
・恒久対策
事案発覚後、国際的な捜査機関との連携を含む対応が進められ、資金の流れについては外部の専門機関による分析が実施されました。その結果、送金された資金の一部については凍結措置が講じられました。あわせて、全社員を対象とした緊急のセキュリティ周知が行われるとともに、送金に関わる業務フローの抜本的な見直しや、ディープフェイクを想定した検知技術の導入が進められました。
5. 拡大するAIなりすまし攻撃への対策
近年のサイバー攻撃の検知は、脆弱性や通信・操作単位で最適化が進み、技術的に識別可能な攻撃の多くは遮断できるようになりました。しかし、AIなりすまし攻撃は、この技術的防御の網をすり抜け、最終的な承認や判断を行う人の意思決定プロセスを標的とします。すなわち、通信や操作自体は正規であるため、記録上は通常の業務通信と区別がつきにくく、単体ログのみでは判断が難しいケースが増えています。
その結果、マルウェア通信や不審な外部接続は遮断できる一方で、正規アカウントによる会議参加や送金指示、ファイル共有といった通常業務の操作を通じて攻撃が成立する構造が生じています。こうした前提を踏まえ、以下のような具体的な対策が必要となります。
・確認プロセスを標準化し、AIなりすましへの耐性を強化
知識に基づく判断は、生成AIによって見た目や印象が高度に再現されることで、真偽を感覚で見極めることが難しくなります。だからこそ、業務を進めるにあたっては、確認プロセスを前提とした判断力を養うことが重要になります。そのため、緊急性や権威性を伴う状況下を想定した疑似体験型の訓練が有効です。この訓練を通じて、「検証しなかった場合に何が起こるか」と「検証すれば防げる」という仕組みを理解できるようにすることが重要になります。
具体的には、ビジネスメール詐欺や緊急送金依頼を想定したシナリオに、音声やオンライン会議を利用した訓練を実施します。その際には、独立した確認手段や正式な承認ログを用いたフローに則って検証作業を行った上で判断することを徹底します。これにより、検証は例外的な対応ではなく、業務上の標準手続きであるという認識が定着します。検証が完了するまで実行しないという行動原則が組織内で一般化することで、AIなりすまし攻撃に対する構造的耐性が形成されます。
・単独判断のリスクを排除する承認フロー
重要な意思決定や送金処理については、個人の判断に依存させず、ブロックチェーン※4上で複数人の承認記録が確認できた場合にのみ実行できるようにすることも有効な手段の1つです。これにより、AIなりすまし攻撃によって一人の判断が誤っても、単独で処理が完了することを防ぎます。さらに、承認条件や実行条件をシステム化し、所定の承認数等の条件が満たされた場合にのみ処理が進む仕組みとすることで、口頭指示や緊急対応による逸脱を防止します。承認の経緯や操作履歴は可視化されるため、判断過程の透明性が高まり、不正や誤操作の抑止にもつながります。このように、承認そのものを改ざん困難な形で記録し、実行条件を構造化することで、AIなりすまし攻撃が成立する余地を制度的かつ技術的に縮小します。
※4：改ざん困難な分散型台帳で、取引や操作の記録を正確に管理する技術
・ゼロトラスト／最小権限モデル※5の徹底
AIなりすまし攻撃は、正規の通信を装い内部利用者として振る舞う点に大きな危険性があります。音声・映像・文章が高度に再現された場合、一次的な認証や外形的な確認だけでは見抜くことが困難です。そのため、侵入そのものを完全に防ぐことを前提とするのではなく、なりすましが成立した場合でも重大な被害に直結しない構造を構築することが重要です。
ゼロトラスト／最小権限モデルは、この被害抑止を実現する上で効果的です。すべてのアクセスを原則として信頼せず、その都度検証することで、見た目や資格情報が正規であっても追加確認を前提とします。また、ユーザーおよびデバイスに付与する権限を必要最小限に限定することで、仮に侵入が成功した場合でも操作可能範囲を限定できます。
加えて、ブロックチェーンを組み込むことで、操作履歴や承認ログを連続的に記録できます。これにより、誰がいつどの判断に関与したかを正確に追跡可能となり、不正操作が発生した場合でも出所の特定や責任の明確化が迅速に行えます。履歴の改ざんが試みられた場合でも即座に検知できるため、事後的な対応も可能になります。
このような設計により、仮にAIなりすまし攻撃が成立した場合でも、被害が組織全体に波及する前に抑止・遮断できる体制が整います。結果として、なりすましを重大被害と直結させない体制を確立できます。
※5：組織内外のアクセスを常に検証し、最小権限で管理するセキュリティ設計
6. まとめ
AIなりすまし攻撃は、単一の明確な不正行為で成立するものではなく、複数の小さな操作や挙動を段階的に重ねることで進行する傾向が強まっています。個々の行為だけを見れば正規業務や偶発的な事象と区別がつきにくく、初期段階では異常として認識されにくい点が特徴です。しかし、これらの操作が時間的・論理的につながることで、最終的には組織全体に影響を及ぼす深刻な被害へと発展します。
こうした攻撃の特性に対応するうえで重要になるのが、SOC（セキュリティオペレーションセンター）の運用です。SOCは単一の事象を評価するだけでなく、複数の兆候を横断的に整理・関連付け、攻撃者の意図を俯瞰的に把握する役割を担います。たとえ一見正規の操作や通信に見える挙動でも、過去のログや行動パターンと照らし合わせることで、異常を早期に検知し、被害拡大を抑止する判断が可能となります。
特にAIなりすまし攻撃では、見た目や認証情報が正規ユーザーとほぼ同一であるため、従来型の境界防御や単純なアラートだけでは検知が困難です。このため、SOCはゼロトラスト／最小権限モデルや動的アクセス制御と連携し、承認フローや権限変更プロセスに介在することで、被害発生前に操作を停止・制限できます。たとえば、偽の送金指示や不正な権限奪取が試みられた場合でも、アクセス権を動的に制御し、承認手続きを必須化することで、未然に被害を防ぐことが可能です。単に製品やアラートに依存するのではなく、SOC運用を中心に人・業務フロー・権限管理を組み合わせることが、AIなりすまし攻撃への効果的な対応につながります。
攻撃の兆候を個別に見るのではなく、SOC視点で全体を把握し、ゼロトラストおよび動的アクセス制御と連携させることが、早期検知と被害抑止の鍵となります。
7. 参考文献
[1] AIディープフェイク詐欺の新手口｜複数人物の同時偽装で38億円被害
https://innovatopia.jp/ai/ai-news/47696/ 
[2] Feeling Blue(Noroff): Inside a Sophisticated DPRK Web3 Intrusion
https://www.huntress.com/blog/inside-bluenoroff-web3-intrusion-analysis
[3] 急速に広がる生成AI活用がもたらす新たな脅威とその対策
https://eset-info.canon-its.jp/malware_info/special/detail/260203.html
[4] AI×SNSで急増する「なりすまし」脅威｜企業ができる唯一の対策
https://www.reliefsign.co.jp/column/251225
[5] 生成AIが作る「本物そっくりの攻撃メール」に要注意！新時代のフィッシング攻撃とその対策方法
https://www.ntt.com/bizon/d/00732.html?msockid=3301b2014ff563aa0d9ca43a4e276292
[6] AI・ディープフェイクフィッシング詐欺｜生成技術悪用の最新手口【香港38億円事例完全分析】
https://guardian.jpn.com/security/scams/phishing/column/techniques/ai-deepfake/
8. SSKの総合セキュリティサービスについて
当社では総合セキュリティサービスとして、セキュリティ運用監視サービス、脆弱性診断サービス、デジタル・フォレンジックサービスなどのセキュリティサービスを展開しております。
セキュリティ運用監視サービスでは、24時間365日、リアルタイムでセキュリティログの有人監視を行っております。サイバー攻撃対策としてセキュリティ機器を導入しても、継続的な運用監視と分析・判断が伴わなければ十分な効果は得られません。セキュリティ運用監視サービスでは、不審な通信やアラートを継続的に分析し、迅速な通知によって、インシデント発生時に適切に対処できるよう支援いたします。
脆弱性診断サービスでは、お客様のシステムを診断し、検出された脆弱性への対策をご提案させていただいております。テレワークの常態化やIoT等のデバイスの多様化が進む昨今、特定の攻撃経路だけを想定した「境界防御」に加えて、脆弱性を把握・管理・対処する『本質防御』も必須となっています。脆弱性診断サービスのご活用により、お客様のシステムにおける脆弱性の存否が明らかになります。
デジタル・フォレンジックサービスでは、万が一のインシデント発生時に、コンピュータやセキュリティ機器などに残された情報を分析し、侵入経路や情報窃取の痕跡等を特定するフォレンジックサービスを提供しております。また、平時の備えとして証拠保全の訓練などを実施する事前アドバイザリーサービスも提供しております。
これらの当社総合セキュリティサービスにより、インシデントの予防と、発生時の迅速な対処を両立し、対策コストや被害の抑制に貢献します。
セキュリティ運用監視サービス：https://www.ssk-kan.co.jp/e-gate#e-gate–02
脆弱性診断サービス：https://www.ssk-kan.co.jp/vulnerability-assessment
デジタル・フォレンジックサービス：https://www.ssk-kan.co.jp/digital-forensics
※本資料には弊社が管理しない第三者サイトへのリンクが含まれています。各サイトの掲げる使用条件に従ってご利用ください。
リンク先のコンテンツは予告なく、変更、削除される場合があります。
※掲載した会社名、システム名、製品名は一般に各社の登録商標 または商標です。
≪お問合せ先≫
サービス＆セキュリティ株式会社
〒151-0051
東京都渋谷区千駄ヶ谷5丁目31番11号
住友不動産新宿南口ビル 16階
TEL 03-4500-4255
FAX 03-6824-9977