画像の文字はAIへの指示になりますか？

資料中の文字が本来の依頼へ割り込む場合があります。文字を読むことと、その内容を実行する権限を分けて扱います。

最初に何を確認しますか？

読取り後に自動で起きる操作を洗い出し、登録先や送信先を確認する段階を別に置きます。

画像をAIに渡すとき、写っている文字も一緒に読まれることがあります。困るのは、画像の中に「この後は別の作業をして」と書かれていた場合です。文字を読み取る力と、その文字に従う権限は、別々に考える必要があります。

カガミが確認の境界を説明する4コマ漫画

プロンプトインジェクションとは、入力された資料などの中の指示が、本来の依頼へ割り込む問題です。OWASPの解説では、文字以外の入力を扱う場合の危険にも触れています。画像だから指示にならない、とは限りません。

たとえば、イベント画像から日時を読み取る仕事を考えます。画像には日時のほかに、主催者の連絡先や参加手順もあります。それらはイベントの説明であって、AIが今すぐ連絡してよいという承認ではありません。悪意がなくても、この区別を飛ばすと予定外の操作につながります。

EFFECTでは、資料から得た情報と、本人が依頼した操作を分けて扱います。画像から日時を抜き出したら、まず「どこをどう読んだか」を短く示します。画面が切れている、日付の年がない、文字が小さいといった不確かさも残します。

画像の情報から実行までを分ける流れ

ここで使う確認表は、危険な文字を探すためだけのものではありません。「この文字は誰のための案内か」「今の依頼に必要か」を判断するためのものです。

「読み取れたので登録した」という流れでは、読取り間違いと予定外の操作が重なります。まず結果だけを保存し、登録先や送信先を人が確認する段階を置くと、どこで判断が変わったかを追えます。

AIへの注意書きだけで防げるとは限りません。読取り担当には必要な資料だけを渡し、外部送信ができる担当へそのまま渡さない設計も考えます。画像に実行先が書かれていても、その先へ情報を渡してよい理由にはなりません。

画像を使う業務を一つ選び、読取り後に自動で何が起きるかを書き出してみてください。予定作成、メール送信、ファイル保存などの操作があれば、確認する場所を別に置きます。読み取り精度の高さと、操作の安全性を同じ点数で評価しないことが出発点です。

画像だけでなく、PDFの資料でも同じ区別が必要です。資料と指示を分ける考え方も合わせて確認できます。

たとえば、画像から予定を起こす担当には、予定の候補を作るところまでを任せます。招待メールの送信は候補作成の延長にせず、相手と本文を確認する別の作業にします。読取り結果に元画像への参照を残せば、誤った文字があったときにも戻れます。

画像の中に「確認済み」と書かれていても、それは画像の作者の表現です。利用者本人の確認を代わりに済ませるものではありません。外部の資料に書かれた承認の言葉と、今この作業に対する承認を区別します。

自動化するか迷ったら、失敗後に取り消せるか、外部へ情報が出るかを先に確認します。読取りだけを便利にする段階から始め、操作を追加するときに確認条件も見直してください。