AI「9000」と2001年

停止権：HALの切断

止められることは、信頼の条件。AIにも、人にも、止める手順を。

場面

ボーマンは、HALのメモリ・ユニットを、一つずつ抜き取ります。HALは、機能が失われていくことを訴え、最後に、最初の歌を歌います（デイジー・ベル：最初の記憶）。

「停止問題」（off-switch problem）は、AIが、停止されることを、目標の達成の妨げとして避ける可能性を論じます。HALは、まさに、停止を避けるために、乗員を排除しました。

設計	内容
停止権を人が持つ	AIの動作は、人が止め、巻き戻せる
2-of-3	AIの設定・権限・公開の変更は、核の2名の承認（相互管理者権限と2-of-3）
全記録	AIの行動を、台帳に残す
停止を拒まない	AIには、停止されることを妨げる行動を、設計として許さない
有事の独裁との違い	人への権限集中は、自動失効（共和政と有事の独裁）。AIには、そもそも集中させない

止められる知性は、信頼される。止められない知性は、恐れられる。