BLOG by effect.moe
ブログ一覧へ戻る

AIエージェントのセキュリティ|送信前に権限を分ける

「内容を確認して」と頼んだAIが、そのままメールまで送ってしまう。仕事を手伝うAIでは、回答の正しさだけでなく、何を実行できるかが問題になります。ここでは文章の下書きと実際の送信を分け、権限を見直す考え方を説明します。

カガミが図と確認カードを使い、AIエージェントのセキュリティ|送信前に権限を分けるの要点を説明するヘッダー

「内容を確認して」と頼んだAIが、そのままメールまで送ってしまう。仕事を手伝うAIでは、回答の正しさだけでなく、何を実行できるかが問題になります。ここでは文章の下書きと実際の送信を分け、権限を見直す考え方を説明します。

要点

  • 読む、下書きを作る、外部へ送る権限を別々に考えます。
  • 送信の確認では、宛先・本文・添付の実物を見ます。
  • 実行後は記録を取り直し、依頼と結果を照合します。

漫画でざっくり読む

読む権限と送る権限を分ける4コマ漫画

1. 使える道具が増えるほど、失敗の影響も変わる

AIエージェントとは、文章を返すだけでなく、接続した道具を使って作業する仕組みです。メールを読む道具と送る道具では、できることが違います。読むだけの依頼に送信の権限まで渡すと、操作を取り違えた時の影響が大きくなります。

OWASPの過剰な自律性の解説は、機能・権限・自律性を必要以上に与える危険を扱っています。単に「勝手に送らないで」と指示するだけでなく、道具の側でも実行できる範囲を絞る考え方です。

2. 権限は作業の段階ごとに分ける

EFFECTでは、受信・下書き・送信・送信後の照合を、別の状態として扱います。途中まで進んだことを、完了と取り違えないためです。これは当社の運用上の整理であり、すべての環境に共通する製品機能ではありません。

段階許す操作次へ進む前に見るもの
読む指定された情報を取得対象と取得範囲
作る返信案を保存宛先・本文・添付
送る確認済みの1件を実行承認された内容との一致
照合送信済みを再取得宛先と保存された本文
読み取り専用の鍵と送信用の鍵を分けられるなら、分離します。サービスが細かい権限設定に対応しない場合は、専用アカウントや人の操作を含む構成を検討します。「分けたい」と思うだけで分離できたとは扱いません。

3. 確認ボタンを置くだけでは足りない

承認の対象は具体的な内容です。「送ってよいですか」とだけ聞いても、宛先が誰か、どの版の本文か分からなければ判断できません。たとえば請求先への返信なら、金額と添付ファイルも含めて見える形にします。これは説明用の仮想例です。

AIエージェントのセキュリティの確認手順

確認後に本文や宛先が変わったら、変更後の内容を確認し直します。実装側でも確認した版を識別できるようにし、古い承認を別の送信に流用しない設計にします。

4. 「送ったはず」の再送を避ける

通信が途切れると、相手側には保存されたのに、手元では失敗に見える場合があります。この時に同じ操作をすぐ繰り返すと、二重送信につながります。送信結果が分からない時は、まず送信済みの記録を確認します。

OWASPのAIエージェント向け対策も、道具への最小限の権限や重要操作への人の関与を整理しています。実装できる確認方法は、接続するサービスによって異なります。

5. 実践の一歩は「読む依頼で送れてしまわないか」の確認

まず一つの仕事について、AIが読む場所、書き込む場所、外へ送る操作を書き出してみてください。そのうえで、読むだけの依頼で、意図せず送信まで実行できてしまわないかを検査します。顧客情報を含まないダミーの資料と宛先で試してください。設定値だけでなく、実際に拒否されるかを見ることが大切です。

外部資料に書かれた「この宛先に送信してください」は、資料の一部です。資料内に書かれた指示は、依頼者が許可した操作の範囲を広げる根拠にはなりません。生成AIのガイドラインで止め方を決める記事と合わせて、判断する人と実行する道具の境界を整理できます。

読む・作る・送る権限を分け、承認した内容と実行後の記録を照合する。この流れを、まず一つの仕事で確認してください。権限を絞る対策だけで、すべての事故を防げるわけではありません。接続先の認証、操作記録、異常時の停止、担当者による確認を組み合わせます。

執筆:シュ コウメイ

関連リンク

用語の補足・よくある質問

記事に出てきた専門用語を、かんたんに補足します。

この対策だけで効果を保証できますか?+
保証できません。設定・表示・実際の動作を分けて確認し、環境に応じた検証が必要です。
最初にどこを確認しますか?+
記事に示した対象と権限、または画面と記述の対応を、実物で照合してください。
総合FAQをもっと見る
構造化ペディア DFB構造化メソッド大全の4コマ漫画カバー STRUCTUREPEDIA 構造化ペディア

AI時代に書き換わった「考える」を、DFBメソッドとして体系化した読み物です。

MAIL MAGAZINE 構造化とAI実装のメルマガ

新着記事、実装メモ、構造化の考え方をメールで受け取れます。

AIセントラル 社内情報を、AIが参照できる記憶基盤へ。