自動化を信じすぎる認知の癖

カーナビが示した道が、明らかに細く、遠回りに見える。それでも、つい従ってしまう。あとで地図を見れば、もっと素直な道があったとわかる。なぜ、自分の目より機械を信じたのか。この問いを、運転に詳しい知人と話したことがある。やり取りを再構成してみる。

私：変だと思ったのに、ナビの言うとおり曲がっちゃったんだ。
知人：それ、自動化バイアスっていう、わりと知られた話だよ。機械が判断を出すと、人はそれを起点にして考える。ゼロから自分で決めるより、楽だからね。

私：でも、おかしいと感じてはいたんだ。
知人：感じても、覆すのにはエネルギーがいる。「機械はたぶん正しい」という前提があると、自分の違和感のほうを疑ってしまう。違和感を信じて機械に逆らうには、それなりの自信がいるんだ。

四つの付き合い方

知人：ラスラ・パラスラマンとビクター・ライリーっていう研究者が、人と自動化の関係を整理しているんだ。使う、誤って使う、使わない、行きすぎて使う——大ざっぱに言うと、この四つ。君のナビの件は、機械を信じすぎる「濫用」に近い。
私：逆に「使わない」っていうのもあるのか。
知人：あるよ。一度ひどい目に遭うと、今度は機械をまったく信じなくなる。便利な支援なのに、使われずに終わる。過信と不信は、同じ問題の裏表なんだ。

この四分法のいいところは、自動化との付き合いを「良い・悪い」の二択で語らない点にある。問題は機械を信じることそのものではなく、信じる度合いが、機械の実際の信頼性とずれることだ。実力以上に信じれば濫用になり、実力以下にしか信じなければ不使用になる。ちょうどよく信じる、という調整こそが難しい。

正しすぎる機械の落とし穴

私：ナビなんて、ほとんどの場合は正しいよ。だから信じてるんだけど。
知人：そこが落とし穴でね。普段が正しいほど、たまの間違いを見逃しやすくなる。九十九回正しい相手の百回目を、人は疑わない。むしろ、めったに間違えない相手ほど、間違えたときの被害が大きくなりがちだ。
私：信頼が、油断に変わるわけか。

これは設計の側にとって厄介な事実だ。機械の精度を上げれば上げるほど、人間の監視はゆるむ。完璧でないかぎり、残ったわずかな誤りが、最も見つかりにくい場所に隠れる。セルフレジの前で人が手を止めるのとは反対に、ここでは人が止まらなすぎることが問題になる。立ち止まる手間を惜しんだ先に、見逃しが待っている。

確かめる余地を、設計に残す

私：じゃあ、どうすれば過信を防げるんだろう。
知人：ひとつは、機械がどれくらい自信を持っているかを見せることだね。「この道で確実です」なのか「この道がたぶん良さそうです」なのか。確信の度合いが見えれば、人も信じ方を加減できる。
私：全部を断言口調で言われると、かえって危ういと。
知人：そう。断言は信じやすいけど、間違えたとき逃げ場がない。

会話を終えて思ったのは、自動化バイアスは知識で完全には消せない、ということだった。現にこの仕組みを知っている私でも、ナビに従ってしまった。知っていることと、その場で逆らえることは別なのだ。だとすれば、頼れるのは個人の心がけより、設計の側の工夫になる。機械の確信を見せ、人が確かめる余地を残し、たまの誤りに気づける手がかりを置く。人がアルゴリズムを嫌う心理とあわせて見れば、過信と嫌悪のあいだの、ちょうどよい距離を探ることが、設計の課題として浮かび上がってくる。