企業で生成AIの導入が広がる中、情報漏えいや権利侵害、プロンプトインジェクションなど、従来とは異なるリスクへの対応が課題となっています。IPA（情報処理推進機構）が発表した「情報セキュリティ10大脅威 2026」では、「AIの利用をめぐるサイバーリスク」が組織向け脅威の第3位に初選出されました[1]。本記事では、企業が生成AIを利用する際に特に注意したい、情報漏えい・著作権侵害・プロンプトインジェクションの3つを取り上げ、具体的な対策を解説します。
企業が特に注意したい3つの生成AIリスク
情報漏えいとシャドーAI
生成AIによる情報漏えいは、システムの脆弱性だけでなく、利用ルールの不備、権限設定の誤り、未承認サービスの利用など、技術と運用の両面から発生します。特に注意したいのが、社員が会社の承認を得ずに外部の生成AIサービスを業務利用する「シャドーAI」です。機密情報や個人情報を未承認のサービスに入力すると、企業がデータの保存先や利用条件を十分に把握・管理できなくなるおそれがあります。
OWASP GenAI LLM Top 10 2026では、機密情報の開示が主要リスクの一つとして挙げられています[2]。LLMアプリケーションから機密情報が意図せず開示されることで、法的影響が生じる可能性があります。データのマスキング、匿名化、アクセス制御の厳格化を実装する必要があります。
個人情報保護法の改正法は2026年7月17日に公布されました。大部分は公布日から2年以内の政令で定める日から施行される予定であり、現在は政令・委員会規則・ガイドライン等の整備が進められています[3]。企業は今後公表される政令・委員会規則・ガイドライン等を確認しながら、生成AIに入力する個人情報の範囲や管理方法を見直す必要があります。
著作権侵害と生成物の扱い
生成AIと著作権の問題は、大きく「AIの開発・学習段階における著作物の利用」と「AIが生成した文章や画像の利用」に分けられます。既存の生成AIサービスを業務利用する企業は、サービスの利用条件や入力データの取り扱いを確認するとともに、生成物を社外公開・商用利用する際の権利確認が必要です。文化庁が2024年3月に公表した「AIと著作権に関する考え方について」や、同年7月の「AIと著作権に関するチェックリスト＆ガイダンス」が実務上の主要な参考資料となります[4][5]。なお、これらは法的拘束力を持つものではなく、具体的な利用については個別の事情に応じた判断が必要です。
特に問題となるのは、生成物の確認フローが不在のまま、AIが生成した文章や画像を社外へ公開するケースです。AI生成物が既存の著作物と類似し、既存著作物に依拠して作成されたと判断される場合などには、著作権侵害が問題となる可能性があります。生成物の品質と権利を確認する体制の整備が重要です。
企業は、生成物を公開前に人間が確認するプロセスを設計し、類似性チェックツールを補助的に活用し、判断が難しい場合は法務部門や専門家へ相談する体制が必要です。社内ガイドラインでの利用範囲の明確化も進める必要があります。
プロンプトインジェクションと技術的脅威
OWASP Top 10 for LLMが示す脅威
プロンプトインジェクションとは、ユーザーの入力や外部文書に埋め込まれた指示によって、LLMの挙動や出力を意図しない形に変化させる攻撃・脆弱性です[2]。機密情報の開示、不正なツール実行、重要な意思決定の操作などにつながる可能性があります。
OWASP GenAI LLM Top 10 2026では、プロンプトインジェクションに続き、機密情報の開示、過剰な自律性、サプライチェーン、データ・モデルポイズニング、無制限なリソース消費、誤情報、隠れたコンテキストの露出、ベクトル・埋め込み（Embedding）の脆弱性、不適切な出力処理が挙げられています[2]。これらのリスクは、モデル固有の特性だけでなく、システム設計、権限設定、外部サービスとの接続、入力・出力の検証、人間による監督など、複数の要因が重なって顕在化します。
入力検証と出力検証の重要性
プロンプトインジェクションのリスクを抑えるには、入力内容の検査に加え、ユーザーからの指示と、外部文書など信頼できない可能性がある参照データを識別・区分して扱い、AIが利用できるデータやツールを制限する必要があります[2]。禁止語や特定の文字列を検出するだけでは、攻撃を完全には防げません。重要な操作には人による承認を設け、最小権限、出力検証、ログ監視を組み合わせた多層防御が必要です。
LLMの出力を外部システムへの命令、データベース更新、コード実行などに利用する場合は、実行前に内容を検証し、必要に応じてサニタイゼーションやエスケープ処理を行います[2]。特に、外部送信やコード実行など影響の大きい操作には追加の承認プロセスを導入し、人による最終確認を組み込むことが重要です。
主要クラウドベンダーも、生成AIやAIエージェント向けのセキュリティ対策を強化しています。Microsoftは「Zero Trust for AI」で、AIエージェントのID・権限・データアクセスに明示的な検証、最小権限、侵害前提の考え方を適用する評価ツールとDevSecOpsガイダンスを公開しています[6]。AWSはAmazon Bedrock AgentCoreで、ユーザーの認可コンテキストを下流サービスまで伝播し、最小権限を適用する設計パターンを公開しています[7]。Google Cloudの「Model Armor」は、プロンプトや回答、AIエージェントとのやり取りを検査し、プロンプトインジェクションや機密情報の漏えいを検知・防止する機能を提供しています[8]。
企業が実装すべき対策
運用プロセスの設計
生成AIのリスク対策では、技術的な防御と運用プロセスを一体で設計することが重要です。企業は、以下の5つの運用プロセスを整備し、実際の利用環境に組み込む必要があります。
1．利用ガイドラインを策定・周知する
利用できる生成AIサービスと、入力してはいけない情報を明確にします。ガイドラインを策定するだけでなく、研修や社内ポータルなどを通じて継続的に周知し、従業員が内容を理解できるようにすることが重要です。
また、生成AIサービスの追加や機能変更、関連法令・ガイドラインの改定に応じて、社内の利用ガイドラインも定期的に見直します。
2．入力情報を分類・保護する
個人情報、営業秘密、契約情報、顧客情報などを分類し、生成AIへ入力できる情報と入力できない情報を定めます。業務上必要な場合は、データのマスキングや匿名化を行い、入力する情報を必要最小限に抑えます[2]。
入力禁止情報をガイドラインで示すだけでなく、利用者の権限に応じて参照できるデータを制限するなど、システム上の対策も組み合わせることが重要です。
3．生成物の確認フローを設ける
AIが生成した文章や画像を社外へ公開する場合は、担当者が内容の正確性や既存の著作物との類似性、権利関係を確認します。類似性チェックツールは補助的に活用し、判断が難しい場合は法務部門や専門家へ相談します[4][5]。
生成物の利用目的や公開範囲に応じて確認項目を定め、誰が確認し、誰が最終承認するのかを明確にすることも重要です。
4．アクセス権限を設計・監査する
最小権限の原則に基づき、利用者ごとに参照できるデータや使用できる機能を制限します。SSO、多要素認証、監査ログなどを組み合わせ、不正アクセスや権限の過剰付与を防ぎます[2]。
異動や退職、担当業務の変更に合わせて権限を更新するとともに、不要な権限が残っていないか定期的に監査します。AIエージェントに外部システムを操作させる場合も、実行できる処理や参照できるデータを必要最小限に制限します。
5．重要な操作に承認プロセスを設ける
外部へのデータ送信、データベースの更新、コード実行、決済など、業務への影響が大きい操作には人による承認を設けます。AIの判断だけで処理を完了させず、操作の重要度や影響範囲に応じて、担当者が内容の妥当性を評価します[2]。
承認者、承認日時、実行された操作、処理結果などを記録し、問題が発生した場合に経緯を確認できるようにすることも重要です。
ガバナンス体制の構築
生成AIのリスク管理には、IT・情報セキュリティ部門だけでなく、法務・コンプライアンス部門、人事部門、実際にAIを利用する業務部門、経営層を含む横断的なガバナンス体制が必要です。各部門の責任範囲と、問題が発生した場合の報告・判断・対応手順を明確にします。具体的には、監視とログの記録、異常なパターンの検知と自動アラート、インシデント対応計画の策定が求められます[2]。
利用目的に応じて、ユーザーID、利用日時、使用機能、参照データ、実行された操作など、監査に必要な項目を記録します。プロンプトや回答本文を保存する場合は、保存範囲、閲覧権限、保持期間をあらかじめ定める必要があります。
また、サプライチェーンセキュリティとデータ・モデルポイズニングへの対策も重要です[2]。モデルや外部ツールの提供元、利用条件、更新履歴を確認し、信頼できるソースから導入します。学習データやRAGに登録する文書についても、出所、登録者、更新者、変更履歴を管理し、不正なデータを登録できないようアクセス権限を制限します。
企業向け生成AIサービスを選定する際は、アクセス権限管理、監査ログ、閉域網での運用、シナリオ機能による入力方法や参照先の標準化といった機能を確認することが重要です。
Smart Generative Chatは、利用者・グループ別の権限設定やSSO、利用状況の可視化、業務ごとの入力方法を統一するシナリオ機能を備えています。監査証跡画面やクローズド環境などのオプションも用意されており、企業のセキュリティ要件に合わせた社内AI環境を構築できます。利用ルールを文書化するだけでなく、権限設定や業務別シナリオとして実際の利用環境に反映する際の選択肢となります。
さいごに
生成AIのリスクは、モデル固有の特性だけでなく、システム設計、権限管理、利用ルール、人による確認など、複数の要因が重なって顕在化します。そのため、技術的な防御と運用プロセスを一体で整備することが重要です。
OWASPが示すリスクへの対応には、入力・出力の検証、最小権限、人の承認に加え、モデルや外部コンポーネントの管理、RAGデータの完全性確保、リソース制限、継続的な監視などを組み合わせる必要があります。個人情報保護法の改正法が2026年7月に公布されたことも踏まえ、企業は生成AIに入力する個人情報の範囲、利用目的、保存方法、アクセス権限を見直す必要があります。
企業は、利用ガイドラインの策定、入力情報の分類と保護、生成物の確認フロー、アクセス権限の設計と監査、重要操作への承認プロセスの5つを設計段階から組み込むことで、生成AIのリスクを低減しながら、安全な業務活用を進められます。
出典
- [1] 情報セキュリティ10大脅威 2026 – 独立行政法人情報処理推進機構（IPA）
- [2] OWASP GenAI LLM Top 10 2026 – Open Worldwide Application Security Project（OWASP）
- [3] 令和8年改正個人情報保護法 – 個人情報保護委員会
- [4] AIと著作権に関する考え方について – 文化庁
- [5] AIと著作権に関するチェックリスト＆ガイダンス – 文化庁
- [6] Advance Zero Trust for AI: New tools and guidance to secure AI agents and DevSecOps – Microsoft Security
- [7] Propagate user authorization context in AI agents with Amazon Bedrock AgentCore – AWS Security Blog
- [8] AI Threat Defense – Google Cloud
この記事を書いた人
