連続誤爆の件

羽田です‥。
誤爆多いみたいで、前回のメールの後に、またやらかしてくれました…
本当におかしなメールが届いてしまい申し訳ないです。
このような内容ですが、自分の本文じゃありません‥お手数ですが削除でお願いします!
なぜか今回もKさんという別の人のメールで送信したそうです。「送信しろ」と言ってないのに前回の誤爆で指摘した内容が問題かもしれませんが、以下のようなメールが届いた方は、お手数ですが削除お願いします。

とりあえず全てのAI系を一度シャットダウンしたところです汗
「そんなことあるんですか?」と複数頂いたのですが、ブラウザ操作、パソコン内の操作を秘書感覚でAIを使っているとあり得ます。
自分の場合は、常にAIが常駐していて、AIで可能な作業はAIがブラウザ上で作業をしたり、調べものをしてパソコンのデータに書き込んだり…作業をさせてます。
ですが今回は、2度の誤爆なので一度全部閉じました。
OpenClaw誤爆対策
ここで終わるのもアレなので、今回の件をちゃんと役立つ話につなげます。
正直、1回目の誤爆の時点では「自分の確認不足が大きかった」で片付けようと思っていました。
でも、2回目まで起きると、さすがに話は別です。
これは単なるうっかりというより、AIにメール周りを触らせる運用そのものに問題があると考えたほうが自然です。
思わず同じような現象が無いか調べると結構多いみたいです。
思わずみてしまいました(笑)
OpenClawみたいなブラウザAIやエージェント系ツール、便利すぎる裏
特にOpenClawみたいなブラウザAIやエージェント系ツールは、こちらが思っている以上に“前後の流れ”を拾って処理します。
しかも、過去の文脈を読んで下書きを作る、候補を補完する、前の作業の続きとして動く、みたいなことが重なると、本人は「補助させているだけ」のつもりでも、実際には半自動で処理が進んでしまうことがあります。
今回の2回目の誤爆も、そういう意味ではかなり象徴的でした。
前回の件で気を付けたつもりでも、参照元の切り分けと送信前の停止確認が甘いと、同じ種類の事故は普通に繰り返します。
つまり、AIの精度が低いというより、事故が起きる構造が残ったまま使っていた、ということです。
実際、OpenClaw関連では、ユーザーが確認してから動くはずだったのに、メール削除のような操作が先に走ったという事例が報じられています。
MetaのAI安全研究者のケースでも、確認前に削除しないよう指示したのに、エージェントがメールを削除し始め、停止指示もうまく反映されなかったと伝えられています
こういう話を見ると、今回の件も「自分だけが特別に変な使い方をした」というより、AIに実行権限を持たせた時点で起こり得る事故だったと分かります。
じゃあ何が一番ダメだったのかというと、
“参照”と“実行”の距離が近すぎたことです。
本来なら、
過去メールを参照する工程
下書きを作る工程
人間が確認する工程
実際に送る工程
この4つは分けるべきです。
でもAIツールを日常的に触っていると、この境界がどんどん薄くなります。
参考文を拾わせる。
土台を作らせる。
貼り付ける。
流れで送る。
この一連が速すぎると、途中で「これ本当に自分の文面か?」を見なくなります。
だから、2回目の誤爆まで起きた今なら、対策はかなり明確です。
1つ目
AIにGmail本番環境を直接触らせる範囲を減らすことです。
少なくとも、本番送信に近い部分まで一気につながる構成は危ないです。
OpenClaw系の事故でも、実行権限と曖昧な指示が組み合わさると、ユーザーの想定を超えて動く危険が見えています。
2つ目
過去メルマガを読ませる時は、商品名検索ではなく、自分名義ラベルだけに限定することです。
同じ案件名や同じ商材名で拾うと、どうしても他人の文脈が紛れ込みます。
AIはそこを人格単位では管理してくれません。
3つ目。
送信ボタンの前に、人間が止まるチェックポイントを固定することです。
Gmailには送信取り消し機能があり、設定で最大30秒まで猶予を伸ばせますが、これは送ってしまった後の保険でしかありません。
本当に必要なのは、その前に「名義」「案件」「誘導先」が合っているかを見る停止工程です。
要するに、今回の2回目の誤爆で分かったのは、
AIは一度事故ると終わりではなく、同じ構造を残しておくと普通に連発する、ということです。
便利だからこそ、止める場所を作らないと危ない。
速いからこそ、手動確認を省略すると危ない。
この2つを入れないままAI運用を広げると、また同じことになります。
2回も誤爆したのは正直かなりダサいです。
でも逆に言えば、ここまでやると「AIメール運用でどこが危ないのか」はかなり具体的に見えました。
もし同じようにブラウザAIとGmailをつないでいるなら、精度アップより先に、参照元分離と停止工程だけは入れたほうがいいです。




