AIツールセキュリティ対策|安全な運用のための指針

本記事は、AIツールのセキュリティリスクの全体像から、組織・技術・運用の各層における具体的な対策手順、そして国内外のガイドライン動向までを体系的に扱う。

生成AIの業務活用が加速する一方、セキュリティインシデントの報告件数も増加している。IPA（情報処理推進機構）が2024年5月に公表した調査レポートによると、AIで強化された従来型サイバー攻撃、虚偽情報の拡散、AIシステムへの直接攻撃という3つのリスク類型が米国企業で広く認知されており、日本企業も同様の脅威に直面している。

AIツールのセキュリティリスクとは何か？

AIツール固有のセキュリティリスクとは、従来のシステムとは異なる攻撃面（アタックサーフェス）から生じる脅威の総体である。大きく分けて「AIへの攻撃」と「AIを使った攻撃」の2方向が存在する。

生成AI特有の攻撃手法とは何か

情報処理学会誌（2025年2月号）の査読論文は、生成AIのセキュリティリスクとして以下を体系的に整理している。

• プロンプトインジェクション攻撃：悪意ある指示をプロンプトに埋め込み、LLMに意図しない出力をさせる手法。直接型（ユーザーが入力）と間接型（外部データ経由）の2種類がある。
• モデル抽出攻撃：大量のクエリを送り、モデルの内部構造や学習データを推測・複製しようとする攻撃。
• メンバーシップ推論攻撃：特定のデータが学習データに含まれているかを推定し、個人情報の存在を確認する手法。
• 敵対的サンプル攻撃：人間には知覚できない微小な変化を入力に加え、モデルの判断を誤らせる。
• DoS攻撃（サービス拒否攻撃）：大量リクエストでAIシステムを過負荷状態にし、サービスを停止させる。

これらは従来のSQLインジェクションやDDoSとは異なり、AIの「確率的な推論」という特性を悪用する点が本質的な違いである。既存のファイアウォールやWAFだけでは防御できないケースが多い。

情報漏洩リスクはどこで発生するか

業務でAIツールを使う際に最も頻繁に問題となるのが、機密情報・個人情報の意図せぬ漏洩である。具体的な発生経路は3つある。

• プロンプトへの直接入力：社員が顧客情報や契約内容をそのままプロンプトに貼り付けるケース。クラウド型AIでは入力データが学習に使われる可能性がある（サービスによって異なる）。
• RAG（検索拡張生成）経由の漏洩：社内ドキュメントをRAGで参照させる際、アクセス権限の設定が不十分だと、本来参照できないはずの情報がLLMの回答に含まれる。
• システムプロンプトの漏洩：APIキーや機密設定をシステムプロンプトに直接記述すると、プロンプトインジェクション攻撃によって外部に露出するリスクがある。

情報漏洩は技術的な問題であると同時に、社員のリテラシー不足による運用上の問題でもある。組織的な教育と技術的な制御の両方が必要である。

国内外のAIセキュリティガイドラインはどう整理されているか？

AIセキュリティに関する主要ガイドラインは2023〜2026年にかけて急速に整備されており、日本企業はこれらを参照した対策設計が求められる。

日本の主要ガイドラインとその要点

総務省「AIのセキュリティ確保のための技術的対策に係るガイドライン」（2026年3月公表）は、AI開発者・提供者を主な対象として、プロンプトインジェクション攻撃とDoS攻撃への具体的な技術的対策を体系化した国内初の専門ガイドラインである。主な対策として以下を規定している。

• 入力プロンプトの検証：不正な指示が含まれていないかを検証し、検知した場合は無害化または処理拒否を行う。
• 外部参照データの検証：WebサイトやデータベースなどRAGで参照する外部データにも不正指示が混入していないか確認する。
• 出力の検証：意図しない情報が出力に含まれていないかを確認し、問題がある場合は応答を拒否する。
• 最小権限の原則：オーケストレータや連携システムの権限を必要最小限に設定し、攻撃を受けた際の被害拡大を抑制する。
• RAGのアクセス権限管理：RAG用データへの参照権限をユーザーや役割に応じて適切に設定する。

なお、同ガイドラインはAIエージェントについて「技術が急激な発展の途上にあり、特有の脅威や対策を安定的に確定することが現時点では困難」として対象外としており、今後の改訂が予定されている。

経済産業省・総務省「AI事業者ガイドライン（第1.0版）」（2024年4月公表）は、AI開発者・提供者・利用者の3者を対象に、人間中心・安全性・公平性など10項目の取り組み事項を示した包括的な指針である。セキュリティはその中の重要な柱として位置づけられている。

内閣府AIセーフティ・インスティテュート（AISI）は2025年7月、学術論文としてAIシステムに対する既知の攻撃と影響を体系化した詳細レポート（arXiv:2506.23296）を公開した。AIセキュリティの研究開発や調査検討の参照資料として活用できる。

国際的なフレームワークとの整合性

国際的には、以下のフレームワークが参照標準となっている。

• NIST AI RMF（2024年4月ドラフト版）：米国国立標準技術研究所によるAIリスク管理フレームワーク。生成AIのリスク管理を支援するための構造化された枠組みを提供する。
• ISO/IEC 42001（2023年12月発行）：AIマネジメントシステムの国際規格。組織がAIシステムを効果的・効率的・安全に開発・利用するための要求事項を規定する。経済産業省は2024年1月に解説資料を公表している。
• 英国NCSC セキュアAIシステム開発ガイドライン（2023年11月）：英国NCSCが主導し23の国際機関が承認。AIシステムの設計・開発・展開・運用の全ライフサイクルにわたるセキュリティガイドラインを提供する。

日本企業がグローバルに事業展開する場合、ISO/IEC 42001への準拠を軸に、NIST AI RMFや国内ガイドラインとの整合性を確認しながら対策を設計することが合理的である。

組織としてAIセキュリティ対策をどう設計すべきか？

組織的なAIセキュリティ対策は、「ガバナンス」「技術的制御」「人材教育」の3層構造で設計するのが基本である。どれか一つが欠けても、全体の防御力は大きく低下する。

AIセキュリティポリシーの策定手順

まず組織全体のAI利用ポリシーを文書化することが出発点となる。以下の手順で進めることを推奨する。

1. 利用実態の棚卸し：現在社員が使用しているAIツール（ChatGPT、Copilot、Geminiなど）を全社調査し、業務用途・入力データの種類・利用頻度を把握する。
2. リスク分類：入力データを「公開可能」「社内限定」「機密」の3段階に分類し、AIツールへの入力可否を明確にする。
3. 利用ルールの策定：機密情報・個人情報のプロンプトへの直接入力禁止、承認済みツールのリスト化、利用ログの保管義務などを規定する。
4. インシデント対応手順の整備：情報漏洩が疑われる場合の報告ルート・初動対応・外部通報基準を定める。
5. 定期的な見直し：AIツールの機能更新や新たな攻撃手法の出現に合わせて、少なくとも半年に1回ポリシーを見直す。

ポリシー策定において重要なのは、「禁止事項の列挙」で終わらせないことである。社員が安全に生産性を高められる「使い方の指針」を同時に示すことで、形骸化を防ぐことができる。

部門別リスクアセスメントの考え方

AIセキュリティリスクは部門によって大きく異なる。画一的な対策ではなく、部門特性に応じたリスクアセスメントが必要である。

• 法務・経営企画部門：契約書・M&A情報・未公開財務データなど最高機密レベルの情報を扱う。AIツールへの入力を原則禁止とし、オンプレミス型または専用契約のAIのみ使用可とするのが望ましい。
• 人事・労務部門：個人情報保護法の対象となる従業員情報を扱う。入力データの匿名化・仮名化を必須とし、出力結果の二次利用制限を設ける。
• 営業・マーケティング部門：顧客情報・案件情報の入力リスクが高い。CRMとAIツールの連携設定を慎重に行い、データ連携範囲を最小化する。
• システム開発部門：ソースコード・APIキー・インフラ設定の漏洩リスクがある。コーディング支援AIの利用ルールを別途策定し、機密コードの入力禁止範囲を明確にする。
• カスタマーサポート部門：顧客対応AIチャットボットを通じた間接的な情報漏洩リスクがある。RAGで参照するナレッジベースのアクセス権限管理を徹底する。

技術的なAIセキュリティ対策はどう実装するか？

技術的対策は、AIシステムの「入力・処理・出力」の各段階に対応するガードレールを設けることが基本方針である。総務省の2026年3月ガイドラインが示す対策を実装の参考にできる。

プロンプトインジェクション対策の実装方法

プロンプトインジェクション攻撃への対策は、AI提供者・利用者の両側で実施する必要がある。

• システムプロンプトによる制約設定：LLMが従うべき指示の優先度を定義し、システムプロンプトを常に最優先で処理するよう設定する。APIキーなどの機密情報はシステムプロンプトに直接記述せず、別個に管理する。
• 入力フィルタリング：ユーザーからの入力プロンプトを事前に検証し、不正な指示パターンを検知した場合は無害化または拒否する。正規表現やLLMを使ったセカンドオピニオン検証が有効である。
• 外部データの検証：RAGで参照するWebサイトや外部データベースにも不正指示が混入していないか検証する。入力プロンプトと外部参照データを明確に区分してLLMに認識させることも重要である。
• 出力フィルタリング：LLMの出力に機密情報・有害コンテンツ・意図しない情報が含まれていないかを検証し、問題がある場合は応答を拒否または修正する。

アクセス権限管理と最小権限の原則

AIシステムの権限管理は、攻撃を受けた際の被害範囲を最小化するために不可欠である。

• オーケストレータの権限制限：LLMや連携システムを操作するオーケストレータの権限を必要最小限に設定する。AIエージェントが自律的に実行できる操作の範囲を明確に制限する。
• RAGのアクセス制御：RAG用データストアへの参照権限をユーザーや役割に応じて設定する。部門横断的なデータへのアクセスを制限し、情報の横断的な漏洩を防ぐ。
• APIキーの適切な管理：AIサービスのAPIキーは環境変数や秘密管理サービス（Secret Manager等）で管理し、コードやプロンプトへの直接埋め込みを禁止する。定期的なローテーションも実施する。
• 監査ログの取得：AIツールへの入出力ログを記録・保管し、インシデント発生時の調査に活用できる体制を整える。

AIセキュリティ教育と人材育成はどう進めるか？

技術的対策がいかに優れていても、利用者のリテラシー不足が最大の脆弱点となる。AIセキュリティ教育は、全社員向けの基礎教育と、IT担当者・管理職向けの専門教育の2段階で設計するのが効果的である。

全社員向けAIセキュリティ基礎教育の内容

全社員が最低限理解すべき内容は以下の5点である。

• 入力してはいけない情報の種類：個人情報・機密情報・未公開情報の具体的な例示と、入力した場合のリスクを実例で理解させる。
• 承認済みAIツールの確認方法：会社が承認したツールのリストと、承認外ツールを使用した場合の対応手順を周知する。
• AIの出力を鵜呑みにしないこと：ハルシネーション（誤情報の生成）のリスクと、重要な判断における人間によるファクトチェックの必要性を理解させる。
• フィッシング・なりすましへの注意：AIで生成された高品質なフィッシングメールや、AIを使ったなりすましの手口を具体的に示す。
• インシデント発生時の報告手順：疑わしい事象に気づいた際の報告先と初動対応を明確にする。

教育の形式としては、座学だけでなく実際のAIツールを使ったハンズオン形式が効果的である。「やってはいけない操作を体験する」ことで、リスクの実感を伴った理解が得られる。

AI研修・eラーニングを活用した継続的な学習体制

AIセキュリティの脅威は日々進化している。一度の研修で終わらせず、継続的な学習体制を構築することが重要である。

株式会社グレイトフルエージェントが運営するAIBLポータルサイトでは、ChatGPT・Copilot・Geminiの3大ツールに対応した法人向け研修（5日間・助成金対応）を提供している。プロンプトエンジニアリングの基礎から実務活用、セキュリティリスクへの対処まで体系的に学べる設計になっており、全国200社超の導入実績を持つ。社内ナレッジAIチャット「ナレナビ」の導入事例では問い合わせ件数75%削減を実現しており、安全な運用設計と業務効率化を同時に達成している。

継続的な学習のためには、世界100以上のサイトから厳選したAI情報を日本語で毎日更新する「AIBLニュース」のような情報源を活用し、最新の脅威動向を把握し続けることが欠かせない。AIセキュリティの知識は、学んだ時点で陳腐化が始まると考えてよいだろう。

AIエージェント時代のセキュリティリスクにどう備えるか？

AIエージェントは、複数のツールやシステムを自律的に操作して複雑なタスクを実行する。この自律性がセキュリティの新たな課題を生む。

AIエージェント固有のリスクとは何か

AIエージェントが従来のAIツールと異なる点は、「自律的な行動能力」にある。この能力が、以下のような固有リスクを生み出す。

• 間接プロンプトインジェクション：エージェントが参照するWebページやメール・ドキュメントに悪意ある指示を埋め込み、エージェントに意図しない操作を実行させる。
• 権限の連鎖的悪用：エージェントが持つ複数システムへのアクセス権限を悪用し、一つの侵害から連鎖的に被害が拡大する。
• 予期しない外部通信：エージェントが自律的に外部APIやサービスと通信し、意図しないデータ送信が発生する。
• ループ・無限実行によるDoS：エージェントが意図しないループに入り、リソースを枯渇させる。

総務省の2026年3月ガイドラインは、AIエージェントについて「技術が急激な発展の途上にあり、特有の脅威や対策を安定的に確定することが現時点では困難」として対象外としているが、実務的な対策は今から準備しておく必要がある。

AIエージェント導入時のセキュリティ設計原則

AIエージェントを安全に導入するための設計原則は以下のとおりである。

• 最小権限の原則の徹底：エージェントに付与する権限は、タスク遂行に必要な最小限にとどめる。ファイルシステム・データベース・外部APIへのアクセス範囲を明示的に制限する。
• 人間による承認ステップの設置：重要な操作（ファイル削除・外部送信・決済処理など）の前に人間の確認を必須とするヒューマン・イン・ザ・ループ設計を採用する。
• サンドボックス環境での検証：本番環境への導入前に、隔離された環境でエージェントの動作を十分に検証する。
• 詳細な監査ログの記録：エージェントが実行したすべての操作を記録し、異常な動作を検知できる監視体制を整える。
• 緊急停止機能の実装：エージェントの動作を即座に停止できるキルスイッチを設け、インシデント発生時に迅速に対応できるようにする。

AIエージェントの導入は、業務効率化の観点から非常に有望である。しかし、セキュリティ設計を後回しにした導入は、従来のシステム以上に深刻なインシデントを引き起こす可能性がある。設計段階からセキュリティを組み込む「セキュリティ・バイ・デザイン」の考え方が不可欠である。

AIツールのセキュリティ対策を継続的に改善するにはどうすればよいか？

AIセキュリティ対策は、一度構築して終わりではない。技術の進化と脅威の変化に合わせて継続的に改善するPDCAサイクルの確立が求められる。

インシデント対応と事後改善の流れ

AIセキュリティインシデントが発生した場合の対応手順は以下のとおりである。

1. 検知・初動：異常な入出力・不審なアクセスを検知した時点で、該当のAIシステムへのアクセスを一時停止し、インシデント対応チームに報告する。
2. 影響範囲の特定：監査ログを分析し、漏洩した可能性のある情報の種類・範囲・関係者を特定する。
3. 封じ込め：攻撃の継続を防ぐため、影響を受けたシステムを隔離し、APIキーや認証情報を即座に無効化・更新する。
4. 通報・報告：個人情報漏洩が確認された場合は、個人情報保護委員会への報告（個人情報保護法72条）と本人への通知が必要となる。
5. 根本原因分析：インシデントの根本原因を特定し、再発防止策を策定する。
6. 対策の実装と検証：再発防止策を実装し、その有効性を検証する。

セキュリティ対策の定期的な見直しポイント

少なくとも半年に1回、以下の観点からAIセキュリティ対策を見直すことを推奨する。

• 新たな攻撃手法への対応：内閣府AISIが公開する最新の攻撃手法レポートや、IPAのセキュリティ情報を定期的に確認し、対策のアップデートを行う。
• 利用ツールの変化への対応：新たなAIツールの導入・既存ツールの機能更新に合わせて、リスクアセスメントを再実施する。
• ポリシーの実効性確認：社員へのアンケートや抜き打ちチェックで、ポリシーが実際に守られているかを確認する。
• ガイドラインの改訂への追従：総務省・経済産業省・IPAなどの公的機関が発行するガイドラインの改訂を追い、自社の対策に反映する。

AIセキュリティは「完成」のない継続的な取り組みである。重要なのは、完璧な対策を目指すことよりも、リスクを把握し続け、優先度の高い対策から着実に実施していく姿勢である。

---

AIツールの安全な活用を学び、実務に直結するセキュリティ知識を身につけたい方には、AIBLポータルサイトの無料体験講座がおすすめである。「はじめてのAI活用体験講座（平日10:00〜18:00、オンライン）」では、業務改善ネタを1つ持ち帰れる実践型の内容を提供している。毎週木曜12:00〜12:45の「AI業務効率化ミニワークショップ」では、メール返信や議事録テンプレートをそのまま使える形で学べる。まず無料で体験し、自社のAIセキュリティ対策と活用推進の両立を確認してほしい。

よくある質問

AIツールのセキュリティ対策で最初に取り組むべきことは何ですか？

まず社員が使用しているAIツールの棚卸しと、入力データの分類（公開可能・社内限定・機密）から始めるのが最優先である。現状把握なしに技術的対策を導入しても、抜け漏れが生じやすい。

プロンプトインジェクション攻撃とは何ですか？どう防げますか？

プロンプトインジェクションとは、悪意ある指示をプロンプトに埋め込みLLMに意図しない出力をさせる攻撃手法である。入力フィルタリング・システムプロンプトによる制約設定・出力検証の3段階で防御するのが基本である。

ChatGPTやCopilotに社内情報を入力しても大丈夫ですか？

原則として機密情報・個人情報の直接入力は避けるべきである。各サービスの利用規約でデータの学習利用可否を確認し、企業向けプラン（学習無効化オプション付き）を選択することを推奨する。

中小企業でもAIセキュリティ対策は必要ですか？

規模に関わらず必要である。むしろ中小企業はセキュリティ専任担当者が少なく、インシデント発生時のダメージが相対的に大きい。まずポリシー策定と社員教育から低コストで着手できる。

総務省のAIセキュリティガイドラインはどこで入手できますか？

総務省が2026年3月27日に公表した「AIのセキュリティ確保のための技術的対策に係るガイドライン」は、総務省の公式サイトからPDFで無料ダウンロードできる。AI開発者・提供者向けの技術的対策が体系的に整理されている。

RAG（検索拡張生成）を使う際のセキュリティ上の注意点は何ですか？

RAGで参照するデータストアのアクセス権限管理が最重要である。ユーザーや役割に応じて参照可能なデータ範囲を制限し、権限外の情報がLLMの回答に混入しないよう設計することが必要である。

AIエージェントを導入する際に特に注意すべきセキュリティリスクは何ですか？

間接プロンプトインジェクションと権限の連鎖的悪用が最大のリスクである。最小権限の原則の徹底・重要操作前の人間承認ステップ・詳細な監査ログ記録の3点を設計段階から組み込むことが不可欠である。

AIセキュリティインシデントが発生した場合、個人情報保護法上の対応は必要ですか？

個人情報の漏洩が確認または疑われる場合、個人情報保護法に基づき個人情報保護委員会への報告と本人への通知が必要になる場合がある。速やかに法務・コンプライアンス部門に相談することを推奨する。

AIセキュリティ対策に関する社員教育はどのくらいの頻度で実施すべきですか？

最低でも年2回の定期教育を推奨する。AIの脅威は急速に進化しているため、新たな攻撃手法やガイドライン改訂のタイミングで随時アップデート教育を行うことが理想的である。

ISO/IEC 42001とNIST AI RMFの違いは何ですか？

ISO/IEC 42001は組織のAIマネジメントシステム全体の要求事項を規定する国際規格（認証取得可能）であり、NIST AI RMFは米国発のリスク管理フレームワーク（任意適用）である。グローバル展開企業はISO/IEC 42001を軸に両者を参照するのが合理的である。

結論

AIツールのセキュリティ対策は、プロンプトインジェクション・情報漏洩・DoS攻撃など生成AI固有のリスクに対し、ガバナンス・技術的制御・人材教育の3層で対応することが基本である。総務省の2026年3月ガイドラインやISO/IEC 42001を参照軸に、まず利用実態の棚卸しとポリシー策定から着手し、RAGのアクセス権限管理・入出力フィルタリング・監査ログ取得を順次実装することを推奨する。AIエージェント時代を見据え、最小権限の原則とヒューマン・イン・ザ・ループ設計を今から組み込んでおくことが、中長期的な安全運用の鍵となる。