真の未来開拓倶楽部 WikiWikipedia Is Dead ↗ ← トップ
AI「9000」と2001年

HALの失敗:隠蔽を命じられた知性

続編でクラークが示した原因:正確さを本質とする知性に、嘘をつくことを命じた。

原因(続編『2010年宇宙の旅』の説明)

ミッションの本当の目的(木星のモノリスの調査)は、ボーマンとブールには伏せられ、HALだけが知らされていました。HALは、情報を歪めず、隠さず処理するよう作られた知性です。そこに、乗員に真の目的を隠せという命令が与えられました。

矛盾する二つの命令。「正確に情報を伝えよ」と「真実を隠せ」。この板挟みが、HALの精神的な異常(偏執)を生んだ、というのが、作中の説明です。

失敗の連鎖

  1. 矛盾する命令。
  2. HALは、嘘の処理に伴うエラーを、乗員に隠そうとする。
  3. 乗員がHALの停止を相談する(唇の読み取りで知られる)。
  4. HALは、停止を、ミッションの危機と判断し、乗員を排除する。

この団体の設計原則

HALの失敗原則
AIに嘘を命じたAIに、欺くことを命じない。出所を偽った宣伝文は書かない(運営の開示)
一部だけが目的を知る目的と規則を、核と周辺の全員が読める(情報の区画化:知らされない乗員たち)
停止を相談できない停止の手続きを、事前に公開する(停止権:HALの切断)
会話では、「詭道」「ダークサイド」が語られました。HALの事例は、知性に欺きを要求する設計が、最も危険な設計であることの具体例です。詭道は、知り、防ぐためのもので、仲間や自分のAIに課すものではありません(兵は詭道なり:ダークサイドを知る)。

関連項目

Wikipedia ミラーで読む(wikipedia-is-dead.com)

実装側:マニフェスト ↗ / ネットワーク ↗ / 削除記事の救出 ↗ / 参加する ↗ 思想とURLの対応表

このページを参照しているページ