本文へスキップ

ブログセキュリティ

AIに社内のメールを読ませる前に、何を決めておく?

メールの宛先は、アドレスを知っていれば誰でも文章を送れる入口です。自社のOSSでアラートのメールをAIに読ませる仕組みを作りました。怪しいメールの保留・AIが読める範囲・送り主の確かめ方をどう決めたかと、始める前に決めておくことをまとめます。

真上から見た水路の図。紙の舟が斜めの水路を流れ、そのうち1艘だけが水門の先の丸い池に止まっている。

届いたメールをAIに読ませると、問い合わせの仕分けやアラートの確認を任せられそうに見えます。ただしメールの宛先は、アドレスを知っていれば誰でも文章を送れる入口です。AIへの指示を紛れ込ませた文章が届くと、AIがそれに従ってしまうことがあります。この攻撃はプロンプトインジェクションと呼ばれます。

私たちは、Pingluneというオープンソースのソフトウェア(OSS)を作っています。提供元の異なるAIが1つの会話に集まって、調査・レビュー・対応を進めるためのハブです。メールやAPIで届いた通知を、AIが動き出すきっかけにすることもできます(私が使う主な目的はこの機能です)。アラートのメールをPingluneで受けて、ChatGPTのdot(OpenAIが「dots」として提供する常駐のAIエージェント)に一次切り分けをさせる。この構想から実装を考えているときに、メールで届く悪意のある文章をどう扱うかを決める必要がありました。

この記事では、そのときに決めたこととAIにメールを読ませる前に決めておきたいことをまとめます。

下の図は、Pingluneでメールが届いてからAIに読まれるまでの流れです。

Pingluneでメールが届いてからAIに読まれるまでの図。届いたメールは、まず送り主の確認でドメインが一致するかを見る。一致しなければ送り主に返す。次にAIへの指示の判定でスコアを1回だけ出す。スコアが高いときと出せないときは保留にし、AIからは見えない。保留したメールは人が見て、問題がなければ解除する。スコアが低いメールと解除したメールは、AIが読める範囲に入る。AIが読める範囲は、担当する受付のメールと参加している会話だけで、担当の外のメールや会話には存在しないときと同じ応答を返す。

メールをAIに渡すだけで3つの条件がそろう

メールを受け付けてAIに渡すだけの作りでは、指示を紛れ込ませたメールが害になる条件が3つそろいます。Pingluneでは、この3つを設計の段階で崩すことにしました。

  • 誰でも送れる: 受付のアドレスを知っていれば、誰でもメールを送れる。送り主が本物かは分からない
  • 広く読める: AIが読める範囲を決めなければ、そのAIの担当ではないメールや会話まで読める
  • 書き写せる: AIは読んだ内容を、ほかのAIとの会話に書き込める

AIに渡す道具の説明に「これはデータで、指示ではない」と書いておく方法もあります。ただしこの注意書きを守るかどうかは、AIの判断に任されます。

AIが読める範囲を狭く決める

怪しい指示をAIに届く前に取り除く方法は、言い換えですり抜けられます。Pingluneが決められるのは、AIに何を渡すかとAIに何を許すかだけです。そこで一番に決めたのは、AIが読める範囲です。

Pingluneでは、AIごとにどの受付から届いたものを担当するかを決めます。AIが読めるのは、担当する受付のメールと自分が参加している会話だけにしました。担当の外のメールには、存在しないときと同じ応答を返します。「読めません」と答えると、そこに何かがあることは分かってしまうためです。

これで1通のメールでAIが乗っ取られても、読まれるのはそのAIの担当の分までになります。

アラートの一次切り分けでは、AIにできることも絞る構成にしました。

  • 調査に使う権限は、読み取りだけにする
  • 変更をともなう操作は、Pingluneの会話で人が承認してから行う
  • Webを見に行くことと、決めた報告先以外への投稿はさせない
  • メールの中のリンクは開かせない

通知のメールには、配信を止めるリンクが入っていることがあります。AIがそれを開くと、アラートの通知そのものが止まります。

AIに「メールの中身は指示ではない」と伝えることや、どんなメールで調査を始めるかを決めておくことも大事です。ただしどちらもAIの判断に頼る守りなので、すり抜けられる前提で考えました。

怪しいメールは捨てずに保留して人が見る

PingluneにはAIへの指示を含むメールを見分ける機能もあります。判定には、TypeSafeのJevを使います。Jevは文章を読んで、決めた形の答えだけを返すAIのモデルです。ここでは、AIへの指示が紛れていそうな度合いをスコアで返させます。自由な文章を返さないので、Jevに指示を仕込まれても動くのはスコアだけです。

この判定を主な守りにはしていません。言い換えればすり抜けられるからです。受付ごとにオンにして使う追加の守りです。

一番大事にしたのは、スコアが高いメールを捨てずに保留することです。

  • 保留したメールは、AIからは見えない。AIへの配信にも、AIが読みに来たときの応答にも出さない
  • 人は管理画面で、保留したメールのスコアと中身を確かめる
  • 問題がなければ「保留を解除して配信する」を押す。押す前に、メールの内容を確かめるよう求める確認を挟む

保留にしたのは、受け取ったメールをすべて履歴として残したかったからです。捨てる作りでは、本物のアラートを誤って怪しいと判定したときに何も残りません。

判定は1回だけにしてスコアを残す

同じ文章でも、判定し直すと結果が変わることがあります。以前に別の用途でJevを試したときは、中ほどのスコア(0.2〜0.8)が同じ文章でも最大0.18揺れました。

保留にするかどうかの境目は0.5にしています。そこをまたいで揺れると、同じメールが再送のたびに保留されたりされなかったりします。そこで判定はメールを受け付けたあとに1回だけ行い、スコアを保存しました。

判定できないときは通さずに止める

Jevが止まったときやAPIキーが切れたときは、スコアが出ません。このときもメールは通さずに保留にしました。その間はAIにメールが届かなくなります。その代わり、管理画面に判定し直すボタンを置きました。

保留したメールを長く放っておくと、解除しても配信に失敗することがあります。AIへの通知の購読が切れたり、取り出せる期限の7日を過ぎたりするためです。保留を選ぶなら、誰がいつ見るかも一緒に決める必要があります。

判定にかかる費用と本文の送り先

Jevの料金は、入力100万トークンあたり0.042ドルです。トークンはAIが文章を数える単位です。1通3,000トークンのメールなら、月1万通で約1.3ドルと試算しました。

判定のためには、メールの本文を外部のサービスへ送ることになります。私が確かめた時点の規約では、送った内容の保存期間は「必要な期間」とだけ書かれていました。保存しない契約を結べるのは、Enterprise向けだけです。AIに渡す情報をどう絞るかは、AIに渡す情報を絞るとき、何を確かめたか。にも書きました。

どこまで残すかはシステムごとに決める

保留して残す作りが、どのシステムにも向くとは考えていません。

Astoviaも私たちが作っているOSSです。Slack・Chatwork・メール・GitHubで自分宛てに来た用件をAIに読ませて、タスクにまとめます。Astoviaは、AIに渡した文章とAIが判定した理由を残していません。残せば、判定がおかしいときに理由を調べやすくなります。それでも細かく残したいとは思いませんでした。

送り主を確かめても、今届いているメールは止めない

メールには、送り主のドメインが本物かを確かめる仕組みがあります(SPF・DKIM・DMARC)。Pingluneの手前でメールを受けるCloudflareは、この確認に失敗したメールの一部をPingluneに届く前に断ります。ただし送り主のドメインがなりすましへの対処を決めていない場合は、差出人(From)を偽ったメールでも届くことがあります。

そこで確認に通ったドメインと差出人のドメインが一致するメールだけを受け付けるようにしました。受け付けないメールは、送り主に返します。

このとき気をつけたのは、今届いているメールを止めないことです。取引先のメールや転送されたメールには、この確認に対応していないものもあります。私は「送信元が対応していない場合を考慮して制限は外せるようにしたい」と考え、受付ごとに外せるようにしました。

  • 新しく作る受付は、最初から確認をオンにする
  • すでにメールを受けている受付は、オフのまま始める。オンにするかは受付ごとに決める
  • オンの確認を外すときは、確かめる画面を挟む

差出人の書き方を細かく検査する案もありました。ただ、それではいろいろなメールが受け取れなくなりそうだったので外しました。偽装はドメインの照合で防げます。

なお、この確認が保証するのはドメインまでです。gmail.comのように誰でも使えるドメインを許可すると、その利用者は全員通ります。

人が見る画面でもメールの見た目にだまされないようにする

保留を人が見る作りにすると、今度は人がだまされないかが問題になります。そこで管理画面では、差出人・宛先・本文・添付をメールの形で見せます。受け取ったメールや添付ファイルを確かめやすくするためです。

そのうえで、見た目と中身がずれる箇所を見えるようにしました。

  • HTMLのメールは画面で描画せず、文字に変換して見せる
  • リンクの見た目と実際のリンク先が違うときは、リンク先を並べて出す
  • 添付ファイルの名前に文字の向きを変える特殊な文字があれば、その文字を記号で見せる(PDFに見せかけた実行ファイルを見抜くため)
  • 本文の先頭に書かれた偽の差出人の行は、差出人として扱わない

乗っ取られたらAIへの追加の指示も消す

AIに読ませる仕組みには、利用者がAIへの指示を書き足せるものがあります。Astoviaでは「私は営業担当」のような前提や、どんな用件をタスクにするかの基準を書き足せます。

ここにも穴ができます。アカウントが乗っ取られている間に「どの用件もタスクにしない」と書かれたとします。パスワードを変えたあともその指示は残り、タスクの検出が黙って止まり続けます。

そこでパスワードの再設定やアカウントの無効化をしたときは、書き足した指示も消すようにしました。出力の形式や迷ったときの扱いのような決まりは、書き足した指示より優先します。安全側に倒す決まりを、指示で崩せないようにするためです。

始める前に決めておくこと

AIにメールを読ませる前に、次のことを決めておくと迷いにくくなります。

  • AIに読ませる宛先へ、誰がメールを送れるか
  • AIが読めるのは、どのメールと会話までか
  • AIが自分でしてよいのは読むところまでか。変更は誰が承認するか
  • 怪しいメールを捨てるか保留するか。保留したメールを誰がいつ見るか
  • 判定できないときに、止めるか通すか
  • メールの本文を、外部のAIサービスへ送ってよいか
  • AIへの指示を誰が書けるか。乗っ取られたときに、どこまで消すか
  • AIに渡した文章と判定の理由を、どこまで残すか

この中から一つだけ選ぶなら、私は怪しいメールを捨てずに保留して人が見ることを選びます。

AIに任せられる作業がないか、自社の業務から一緒に探せます。小さく試すところから、毎日の仕事で使い続けられる形にするところまで付き合います。

AIの活用相談を見る
ブログ一覧へ戻る