米Cornell Tech、イスラエル工科大学、米Intuitに所属する研究者らが発表した論文「ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications」は、生成AIが組み込まれたアプリケーションを攻撃するマルウェアを提案した研究報告である。
企業は既存の製品やプラットフォームに生成AIを統合することで、コンテンツ生成の自動化、不要なユーザー操作の削減、複雑なタスクの効率化を目指している。チャットbotやバーチャルアシスタントなど、既存および新興の製品への生成AIの導入が進むことで、生成AIを搭載した半自律・全自律のエージェントから成るエコシステムが生まれつつある。
この研究では、そんな生成AIを搭載したアプリケーションを攻撃するワーム型のマルウェア「Morris II」を提案する。これは、36年前に登場した初期のインターネットワーム「Morris Worm」へのオマージュとして名付けられた。
Morris IIは「Adversarial self-replicating prompt」と呼ばれる特殊なプロンプトを利用する。感染したアプリが生成AIモデルにこのプロンプトを与えると、生成AIは攻撃者の意図した悪意ある動作を実行し、プロンプト自体も出力に含めて自己複製する。これによりMorris IIは、生成AIエコシステム内の他のアプリへと自律的に広がっていく。
このワームは、エンドユーザーに対する幅広い悪意ある攻撃（スパム送信、プロパガンダ拡散、個人データの流出、フィッシング攻撃など）を行うために利用できる。
研究チームは、RAG（Retrieval Augmented Generation）を利用した生成AI（ChatGPT、Gemini Pro、LLaVA）を用いたメールアシスタントアプリを標的に、Morris IIの実際の動作を確認した。
その結果、画像ファイルに細工を施してプロンプトを埋め込み、メールの添付ファイルから感染を広げるケースでは、大量のスパムメール送信を引き起こすことができた。また、アプリがメールの文脈に応じて関連情報を検索する際、データベースにプロンプトを紛れ込ませて感染し、個人情報を窃取することにも成功した。
Morris IIは、テキストや画像などさまざまな形式の入力データを介して感染し、生成AIの出力をジャックすることで波及と攻撃を実現している。ユーザーの操作を一切必要とせず、生成AIを内包するシステムの脆弱性を突くゼロクリック型の攻撃であることから、検知や防御が非常に難しいとされる。
Source and Image Credits: Cohen, Stav, Ron Bitton, and Ben Nassi. “Here Comes The AI Worm: Unleashing Zero-click Worms that Target GenAI-Powered Applications.” arXiv preprint arXiv:2403.02817（2024）.
※2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。X： ＠shiropen2
コメント