正しくても、アルゴリズムを嫌う理由

同じ間違いでも、人間がしたときと機械がしたときとで、私たちの許し方は違う。天気予報が外れても、予報士個人を責め続ける人は少ない。だが予測アプリが一度大きく外すと、「もう当てにならない」とアプリごと見限ることがある。機械の誤りに対して、人はしばしば、人間の誤りより厳しい。

この非対称を実験で示したのが、バークレー・ディートヴォルストらの研究だ。彼らは、予測の場面で人間とアルゴリズムのどちらに任せたいかを人々に選ばせた。アルゴリズムのほうが平均して正確だと示しても、いったんその予測の外れを目にした人々は、急に人間の判断を選びたがった。研究者たちはこれを「アルゴリズム嫌悪」と名づけた。要点は、機械の誤りが人間の誤りより重く受け取られる、という許容度の差にある。

なぜ機械の誤りは重いのか

理由のひとつは、機械に対する期待の高さだろう。機械は一貫していて、感情に流されず、計算を間違えない——そうした像があるからこそ、その像を裏切る誤りは、ことさら目立つ。人間なら「調子が悪かったのだろう」で済むところを、機械には「壊れている」「使えない」という全否定が向かう。期待が高い分、失望も深い。

もうひとつ、機械の誤りは説明されにくい、という事情がある。人間が間違えれば、本人に理由を聞ける。機械の予測には、なぜそう出たのかの語りが伴わないことが多い。理由のわからない誤りは、納得しようがなく、ただ不信だけを残す。エラーの伝え方が人の感情を左右するのと同じ構図が、ここでも働いている。

嫌悪の反対側にあるもの

ところが、話はこれで終わらない。ジェニファー・ログらの研究は、これとは逆の傾向、すなわち人が人間よりもアルゴリズムの助言を重んじる「アルゴリズム評価」も報告している。とりわけ、答えの良し悪しが数字ではっきり測れるような課題では、人は機械の助言に素直に従いやすい。同じ人間が、場面によって機械を嫌いもし、頼りもする。

この食い違いは、矛盾というより、条件の違いとして読むのが正しい。専門家としての自負が問われる領域では、機械に従うことが自分の能力の否定に感じられ、嫌悪が出やすい。逆に、自分に知識がなく、客観的な正解がある領域では、機械への信頼が勝つ。一方で、ディートヴォルストらは続く研究で、たとえわずかでも予測を自分の手で修正できる余地を与えると、人がアルゴリズムを受け入れやすくなることも見いだしている。完全に任せきりにするのではなく、最後にひと手間かませる。それだけで、嫌悪はやわらぐ。

距離の取り方が問われている

アルゴリズム嫌悪とアルゴリズム評価を並べてみると、人と機械の関係が、好きか嫌いかという固定した感情ではないことがわかる。同じ人が、課題の性質や、自分がその分野にどれだけ通じているかによって、態度を揺らす。設計の側から見れば、これは扱いやすい事実だ。機械を信じさせるか避けさせるかは、人格ではなく条件の問題であり、条件は設計できるからだ。

たとえば、機械の判断を最終決定にせず、人が微調整できる形にしておく。完全自動の予測より、受け入れられやすくなる。これは過信を防ぐ工夫とも、初期設定をどう置くかという問題ともつながっている。問われているのは、機械の精度をどこまで上げるかではなく、人が機械とどの距離で付き合えるようにするか、である。近すぎれば過信になり、遠すぎれば嫌悪になる。その中間の、手直しの効く距離を設計できるかどうかに、機械の判断が現場で生きるかどうかがかかっている。