【英語で読むAI考02】自己意識をもつAIはつくれるか？

2017-12-302018-05-24AI・自動化, 文明文化の話

しばらく宗教の話が続いてしまったのでちょっとお休みして、今回から2回に分けてAI関連の話題をお届けしよう。紹介するのはWired.comの「自己意識をもつAIマシンをつくる方法」という記事だ。著者はヒュー・ハウィー（Hugh Howey）というアメリカのSF作家。

人間の脳の仕組み、意識とはいったい何なのか、人間にそれはつくれるのか――。科学的記述はほとんどなく、楽しみながら勉強できる記事なので、少々長いが読んでみてほしい。

全体はかなり長いので分載する。導入部分はこんな風に始まる。

脳ほどクールなものはない

この世にクールなものは腐るほどあるが人間の脳ほどクールなものはまたとない。脳自身がそう考えているのだから異論の余地なし。人間を他の動物から分かつのは意識の有無ではなく、意識の程度だ。人間にとっては環境や他者への意識以上に、自分自身についての意識が重要だからだ。
意識というものはある日突然生まれたわけではない。壊れかけの電灯が時間をかけて発光するように徐々に生まれたものだ。AI研究者は脳の知能を複製もしくはシミュレートすることに励み、いくつもの電灯を発光させようとしている。

以下、本文を引用しつつ対訳を掲載していく。

聖杯の探求

THE HOLY GR-AI-L
The holy grail of AI research was established before AI research ever even began. One of the pioneers of computing, Alan Turing, described an ultimate test for “thinking” machines: Could they pass as human? Ever since, humanity has both dreamed of?and had collective nightmares about?a future where machines are more human than humans. Not smarter than humans?which these intelligences already are in many ways. But more neurotic, violent, warlike, obsessed, devious, creative, passionate, amorous, and so on.

AI研究が追い求める聖杯は、AIが産声を上げる前にコンピューターの先駆者アラン・チューニングによって既に定義されていた。彼は「考える」機械を構想し、考える機械が人間になるテストに合格できるかと問うた。それ以来、一部の人間は、人間より人間らしい知能が存在する未来を夢見、大半の人間はそれを恐れてきた。この場合 “人間らしい” というのは、機械が（今日一部に見られるように）人間より賢いという意味ではない。人間より神経質で、暴力的で、好戦的で、偏執狂的で、悪魔的で、創造的で、情熱的で、好色な―、むしろそんなイメージだ。

The genre of science fiction is stuffed to the gills with such tales. A collection of my short works will be released this October, and in it you can see that I have been similarly taken with these ideas about AI. And yet, even as these intelligences outpace human beings in almost every intellectual arena in which they’re entered, they seem no closer to being like us, much less more like us.

SFの世界は、私自身の作品を含めて、そんなイメージに尾ひれをつけたもので溢れている。にもかかわらず、たとえ人工知能が彼らの進出した領域という領域で人間を超えたとしても、彼らは人間に似ても似つかない。むしろ遠ざかっているように見える。

This is a good thing, but not for the reasons that films such as The Terminator and The Matrix suggest. The reason we haven’t made self-conscious machines is primarily because we are in denial about what makes us self-conscious. The things that make us self-conscious aren’t as flattering as the delusion of ego or the illusion of self-permanence. Self-consciousness isn’t even very useful (which is why research into consciousness rarely goes anywhere?it spends too much time assuming there’s a grand purpose and then searching for it).

これはいいことだ。だが『ターミネーター』や『マトリックス』のいうような意味でいいのではない。自意識をもった機械を人間が作っていないのは、人間が基本的に、我々に自意識をもたせている何かを否定しているせいだ。我々に自意識を与えているものは、自我の妄想や不死の幻想のように甘美なものではない。自意識なんてあまり有用でない可能性すらある。だから人工意識の研究は進まないのだ。みんな、自意識には何か崇高な目的があると仮定し、その目的を探し回ることに時間を費やし過ぎているのではないか。

Perhaps the best thing to come from AI research isn’t an understanding of computers, but rather an understanding of ourselves. The challenges we face in building machines that think highlight the various little miracles of our own biochemical goo. They also highlight our deficiencies. To replicate ourselves, we have to first embrace both the miracles and the foibles.

AI研究の最大の功績はコンピューターを理解することではなく、人間そのものを理解することなのではないか。考える機械づくりで困難に直面し、人間は脳みその中で起こっている雑多な奇跡を目の当たりに認識せざるを得ない。同時に人間の欠陥も白日のもとに晒される。人間を複製すれば、脳みその奇跡ばかりではない、その弱点も丸ごと許容しなければならないのだ。

What follows is a very brief guide on how to build a self-conscious machine, and why no one has done so to date (thank goodness).

以下に、私は自意識を持つ機械の作製要領と、なぜ（ありがいことに）誰もやりたがらないのかを示そうと思う。

AI製作の青写真

THE BLUEPRINT

The blueprint for a self-conscious machine is simple. You need:

自意識マシンを作製するなら、次のシンプルな青写真に従えばいい。

• A physical body or apparatus that responds to outside stimuli. (This could be a car whose windshield wipers come on when it senses rain, or that brakes when a child steps in front of it. Not a problem, as we’re already building these.)
• A language engine. (Also not a problem. This can be a car with hundreds of different lights and indicators. Or it can be as linguistically savvy as IBM’s Watson.)
• The third component is a bit more unusual, and I don’t know why anyone would build one except to reproduce evolution’s botched mess. This final component is a separate part of the machine that observes the rest of its body and makes up stories about what it’s doing?stories that are usually wrong.

• 外界の刺激に反応する物理的なボディまたは器具
  （雨を感知するとワイパーを動かすクルマ、前方に子どもの飛び出しを検知したらブレーキをかけるクルマなど何でもいい。既に製造中だ）。
• 次に言語エンジン
  （これも無問題。何百という電球やインジケーターを備えたクルマでもいいし、IBMのワトソンのように言葉の得意なマシンでもいい）
• 3番目の部品は少し変わっている。開発者がなぜ進化の出来損ないを複製することに専念するのか、私にはわからない。その出来損ないは他の部品と独立してそれらを観察し、機械全体で行う動作のストーリーを作り上げるのだが、たいていの場合、ストーリーは間違っているのだ。

Again: (1) A body that responds to stimuli; (2) a method of communication; and (3) an algorithm that attempts (with little success) to deduce the reasons and motivations for these communications.

もう一度見てみようか。
一に刺激に反応するボディ、二にコミュニケーション手段、三にそのコミュニケーションの理由や動機を（ほとんで成功することなく）演繹しようとするアルゴリズムである。

The critical ingredient here is that the algorithm in (3) must usually be wrong.

問題は、三のたいてい間違うアルゴリズムの存在だろう。

If this blueprint is confusing to you, you aren’t alone. The reason no one has built a self-conscious machine is that most people have the wrong idea about what consciousness is and how it arose in humans. So let’s take a detour. We’ll return to the blueprint later to describe how this algorithm might be programmed.

以上の青写真が意味不明でも大丈夫。みんなそう思っているのだ。自意識マシンを誰も作れていないのはなぜか？たいていの人が意識が何であるか、意識がどうやって生まれたかについて考え違いをしているからだ。ちょっと迂回して、まずアルゴリズムがどのようにプログラムされているかを見てみよう。青写真の話はその後でする。

人間を人間たらしめているもの

WHAT MAKES US HUMAN
To understand human consciousness, one needs to dive deep into the study of Theory of Mind. It’s a shame that this concept is obscure, because it consumes most of our computing power for most of our lives. Our brains have been likened to little more than Theory of Mind machines―almost all of our higher level processing power is shunted into this singular task. So what is Theory of Mind, and why is this topic so rarely discussed if our brains are indeed so obsessed?

人間の意識を理解するには、心の理論（Theory of Mind）を深く探求する必要がある。困ったことに意識は得体が知れない。だから人間は人生という時間も、脳という計算能力も、その大半を意識の処理に捧げている。人間の脳は心の理論マシンといって差し支えない代物だ。実際、我々の高次の処理能力はこの意識に関わる仕事以外ほとんど何もしていないのである。では心の理論とはいったい何なのか？脳がそこまで執着している問題なのに、なぜ意識の問題は滅多に議論されないのか？

Theory of Mind is the attempt by one brain to ascertain the contents of another brain.

It is Sue wondering what in the world Juan is thinking. Sue creates theories about the current state of Juan’s mind. She does this in order to guess what Juan might do next.

If you think about it, no power could possibly be greater for a social and tribal animal like us humans. For thousands and thousands of years we have lived in close proximity, reliant on one another in a way that mimics bees, ants, and termites.

As our behaviors and thoughts grew more and more complex, it became crucial for each member of the tribe to have an idea of what the other members were thinking and what actions they might perform. Theory of Mind is intellectual espionage, and we are quite good at it?but with critical limitations that we will get into later.

心の理論とはある脳が他の脳の中身を解明しようとする試みだと言える。

スーは「ジュアンがいったい何を考えているのだろう」と考える。ジュアンの現在の心の状態を説明する理屈をつくり出す。ジュアンが次にとる行動を予測するためだ。

そのような能力に関して動物界で人間の右に出る者はいない。人間は社会をつくって部族のなかで生きる種族だからだ。人間は何千何万という歳月を近親関係のなかで過ごしてきた。ある意味、蜂や蟻やシロアリのやり方を模倣するようなやり方で仲間に依存し合いながら。

人間の行動や思考が複雑化するにつれ、仲間が何を考え、どう行動するかを理解することは死活問題となっていく。心の理論は、こうした機構に探りを入れる知的諜報行為だ。我々が得意な分野なのだが、後述のように、おのずと限界もあるのである。

Sue guessing what Juan is thinking is known as First Order Theory of Mind. It gets more complex.

Sue might also be curious about what Juan thinks of her. This is Second Order Theory of Mind, and it is the root of most of our neuroses and perseverate thinking.

“Does Juan think I’m smart?” “Does Juan like me?” “Does Juan wish me harm?” “Is Juan in a good or bad mood because of something I did?”

スーがジュアンの考えを知りたいことを、一次の心の理論（First Order Theory of Mind）という。一次というからには、そこを基点に複雑化していくのである。

たとえば、スーはジュアンが自分をどう思っているかに興味を抱くかもしれない。この段階は二次の心の理論（Second Order Theory of Mind）と呼ばれる。この二次の心の理論は神経症や保続・固執行動の原因と考えられている。

「ジュアンは私のこと賢いって思ってるかな？」、「私のこと好きかな？」、「私の不幸を願ってるのかな？」、「私のしたことで気分が悪い（いい）のかな？」などとスーは考えるのである。

Questions like these should sound very, very familiar. We fill our days with them. And that’s just the beginning.

こうした疑問は誰しも抱いたことがあるだろう。一日はそれらの疑念で埋め尽くされているといっていいくらいだ。でもそこで終わらないのである。

Third Order Theory of Mind would be for Sue to wonder what Juan thinks Josette thinks about Tom. More simply, does Tom know Josette is into him?

Or Sue might wonder what Josette thinks Juan thinks about Sue. Is Josette jealous, in other words?

This starts to sound confusing, the listing of several names and all the “thinking about” thrown in there like glue, but this is what we preoccupy our minds with more than any other conscious-level sort of thinking. We hardly stop doing it. We might call it gossip, or socializing, but our brains consider this their main duty―their primary function.

There is speculation that Theory of Mind, and not tool use, is the reason for the relative size of our brains in the first place.

三次の心の理論（Third Order Theory of Mind）という段階がある。スーは「ジョゼットがトムのことをどう思っているのか―、ジュアンはその点をどう思っているかな？」と考えることができる。ありていに言えば、トムはジョゼットが彼に夢中なことに気づいているか、それがスーの関心なわけだ。

あるいは、スーはジュアンがスーをどう思っているかについて、ジョゼットがどう持っているかを問うこともできる。つまり、ジョゼットが妬いているかを考えることができる。

この辺りで事態は紛らわしくなってくる。名前がいくつも出てきて「思ってる」「思ってる」が糊でくっついたように次々と出てくる。しかし、意識と呼べるレベルの思考のうち、これらの「思ってる」について考えることほど人間の心を支配している思考は存在しないのである。人間は「思ってる」を考えるのをやめることはほとんどない。「ゴシップ」といわれようと「交際」と呼ばれようと、我々の脳は、それが脳の一番の務め―いわば基幹機能―だと考えているのだ。

そもそも人間の脳が大きくなったのは、道具を使用し始めたからではなく、このような心の理論の仕組みを持ったからだという仮説さえあるくらいなのである。

In a world of rocks hurtling through the air, a good use of processing power is to compute trajectories and learn how to avoid getting hit. One develops an innate sense of parabolas, of F=ma, of velocities squared.

In a world of humans jostling about, a good use of processing power is to compute where those people might be next, and what they will do when they get there.

世界が岩石が空中を飛び交うような場所なら、岩石の軌跡を計算し、衝突を避ける方法を学ぶために計算能力を使うのが真っ当だ。人間は、生まれながらに放物線や物体の落下速度を知覚できるようになる。

でも人間がひしめき合う場所なら、他者が次にどこへ移動するか、その次に移動先で何をするかに計算能力を使うのが賢明なのである。

If this trait is so useful, then why aren’t all animals self-conscious? They very well might be. There’s plenty of research to suggest that many animals display varying degrees of self-consciousness.

Animals that know a spot of color on the face in the mirror is in fact on their own heads. Animals that communicate to other animals on how to solve a puzzle so that both get a reward. Even octopi show considerable evidence of being self-conscious. But just as the cheetah is the fastest animal on land, humans are the queens and kings of Theory of Mind.

もしこのような心の仕組みが有用なら、なぜすべての動物に自意識が存在することにならなかったのだろうか？いや、そうなる可能性は高いのだ。

動物は様々なレベルの自意識を示すとの研究報告は多数出ている。動物の顔の一点に色をつけ、彼を鏡の前に立たせると、その動物はそれが自分の頭の点だと理解している。パズルを解くとご褒美がもらえた動物は別の動物にパズルの説き方を教えようとする。タコにも自意識があることを裏付ける証拠も見つかっている。しかしチーターが地上最速のランナーであるように、心の理論の女王様、王様は人間である。

I’ve watched my dog observe me expectantly to guess what I might do next.

Am I going to throw the stick or not? Am I going to eat that last bite of food or share it? I’ve even seen dogs wrestle with Second Order Theory of Mind questions. Play-wrestling with a partner, the dog has to gauge what my intent is. Have I suddenly turned on the pack? Or is this yet another game? Which side should my dog take?

(Dwelling on this example now, I’m ashamed of having put my poor pup into such a heart-pounding conundrum for my own entertainment.)

私は飼い犬が私の次の行動に期待して私を観察していることを知っている。

「ご主人は棒切れを投げてくれるだろうか？」、「今食べているものの最後を食べてしまうだろうか、それとも私にくれるだろうか？」。また、犬たちが二次の心の理論を使ってレスリングをすることを知っている。飼い主が恋人とふざけてレスリングをしていると、犬は飼い主の意図を探っている。「ご主人は突然、群れに集合を命じたのか？」、「どちらの側につくべきだろう？」

（この例についてあれこれ考えているうち、私の愛すべきワンを、どきどきするような難しい状況に追い込んでしまった悪戯心を詫びたい）。

Dogs are a good example of Theory of Mind in the animal kingdom, because dogs have evolved over the years to be social with humans and to pick up on our behavioral cues.

The development of self-conscious AIs will follow this model closely, as robots have already become our domesticated pals. Some of them are already trying to guess what we’re thinking and what we might do next. There are cars being developed that read our faces to determine where our attention is being directed and whether or not we’re sleepy. This is First Order Theory of Mind, and it is being built into automated machines already on the road.

犬は動物王国における心の理論を学ぶには最適な生きものだ。彼らは人間と長い年月を暮らしてきたから、人間の動作や仕草から手がかりを得る術に長けている。

既にロボットは人間の家の中に入ってきており、今後の自意識AIの開発はこの犬の線に寄り添って進むだろう。ロボットのなかには人間の考えと次の行動を読む者も既に存在する。ドライバーが眠くなっていないか、運転に集中しているかどうかを人間の顔色から読むクルマも開発されている。こうした一次の心の理論レベルの技術は、路上の自動運転車に実装されつつあるのである。

Further development of these abilities will not lead to self-consciousness, however. There’s a very simple and elegant reason for this, and it explains the mystery of human consciousness and it provides the blueprint mentioned above for creating self-conscious machines, something we could very easily do in the lab today. But you’ll soon see why this would be a terrible idea. And not the world-ending kind found in dystopic science fiction.

しかしこの線で進めていっても自意識AIは生みだせないだろう。それは単純でエレガントな理由によるのだが、この理由により、人間の意識の不思議が説明できるのである。現在世界中の研究室では、上述の青写真に従って開発がいとも簡単に行われているのも、同じ理由による。もう少し読み進めば、それがひどい思い違いだということもお分かりいただけるようになる。ディストピアSFの描くような世界の終わりはやって来そうにないことも。

欠けたピース

THE MISSING PIECE

The human brain is not a single, holistic entity. It is a collection of thousands of disparate modules that only barely and rarely interconnect. We like to think of the brain as a computer chip. We might even attempt further precision and think of the brain as a desktop computer, with a central processing unit that’s separate from RAM (short-term memory), the hard drives (long-term memory), cooling fans (autonomous nervous functions), power supplies (digestion), and so on.

人間の脳はそれ自体で完全な組織ではない。相互に完全に異なり、お互い滅多につながり合うことのない何千ものモジュールの集合体である。人間は脳をコンピューター・チップのように考えるのが好きだ。いや、より正確を期すなら、デスクトップ・コンピューターのようなものとして捉えるのが好きだ。CPUと呼ばれる司令塔とは別に、RAM（短期記憶）、ハードディスク（長期記憶）、冷却ファン（自律神経機能）、電源（エネルギー摂取と消化）などが備わっているわけだ。

That’s a fun analogy, but it’s incredibly misleading. Computers are well-engineered devices created with a unified purpose. All the various bits were designed around the same time for those same purposes, and they were designed to work harmoniously with one another. None of this in any way resembles the human mind. Not even close.

The human mind is more like Washington, D.C. (or any large government or sprawling corporation). Some functions of the brain were built hundreds of millions of years ago, like the ones that provide power to individual cells or pump sodium-potassium through cell membranes. Others were built millions of years ago, like the ones that fire neurons and make sure blood is pumped and oxygen is inhaled. Move toward the frontal lobe, and we have the modules that control mammalian behaviors and thoughts that were layered on relatively recently.

たとえとしては面白いが、間違った結論を導きかねない。コンピューターは統一的な目的のために精巧な技術でつくられた装置である。同時に共通の目的で生み出された部品は、お互い協調するよう設計されている。こうした点はぜんぜん人間の脳に似ていない。まったく違う。

人間の心はむしろワシントンDCに近い。巨大な政府、あるいは、無秩序に大きくなった企業と言ってもいい。脳機能の一部、たとえば、個々の細胞にエネルギーを供給する仕組みやナトリウム・カリウムを細胞膜に送り込む仕組みなどは、何億年も前に出来上がったものだ。ニューロンを燃やして血液を循環させ、確実に酸素を採り入れる仕組みだって何百万年前に獲得されたものだ。しかし前頭葉には、比較的最近獲得された哺乳類としての行動を制御するモジュールや思考のレイヤーが存在している。

Each module in the brain is like a separate building in a congested town. Some of these modules don’t even talk to other modules, and for good measure. The blood-pumping and breath-reflex buildings should be left to their own devices. The other modules are prone to arguing, bickering, disagreeing, subverting one another, spasming uncontrollably, staging coups, freaking the fuck out, and all sorts of other hysterics. Here are a couple of examples.

脳内の各モジュールは過密な都市に林立するビルのようなものだ。おまけにビルのすべてがお互いに交信しているわけではない。血液循環や呼吸反射は専門ビルに任せるべきだ。それとは別の場所で、議論し、口論し、反対し、相手を傷つける機能が発揮される。突発的な感情を制御できない、クーデターを起こす、興奮し過ぎで錯乱する―これらのヒステリーも同じである。

（中略）

Seasickness is a case of our brain modules not communicating with one another (or doing their own thing). When the visual cues of motion from our environment do not match the signals from our inner ears (where we sense balance), our brains assume that we’ve been poisoned. It’s a reasonable assumption for creatures that climb through trees eating all the brightly-colored things. Toxins disrupt our brains’ processing, leading to misfires and bad data. We did not evolve to go to sea, so when motion does not match what we are seeing, our bodies think we’ve lost our ability to balance on two legs. The result is that we empty our stomachs (getting rid of the poison) and we lie down and feel zero desire to move about (preventing us from plummeting to our deaths from whatever high limb we might be swinging from).

（中略）

病気とは脳のモジュールがうまく連絡を取り合えない（あるいは本来の仕事を果たせない）状態を指す。移動からもたらされた視覚的合図が、（平衡を司る）内耳から得られる信号と一致しない場合、脳は中毒と判断する。木を登って明るい色をしたものを食べて進化してきた生き物にとって、それは合理的な仮説といえる。なぜなら毒素は脳機能を壊し、失敗や誤ったデータの取得につながるからだ。人間は海に向かうように進化しなかった。（海上で）視覚と移動が一致しない場合、人間の体は二足で立つ平衡を失ったと考える。だから体から毒（と体が考えたもの）を放出するために吐き、動かないように横たわる。動かないのは、どれくらい危険な状態にあるかわからないのでそれ以上危険を冒さないためである。

It doesn’t matter that we know this is happening in a different module of our brains, a higher-level processing module. We can know without a doubt that we haven’t been poisoned, but this module is not going to easily win out over the seasickness module. Having been seasick myself, and being very curious about such things, I’ve felt the various modules wrestle with one another. Lying still and sleeping a lot while seasick, I will then jump up and perform various tasks needed of me around the boat?the seasickness practically gone for the moment?only to lie back down once the chore is done. Modules get different priorities based on our environmental stimuli. Our brains are not a holistic desktop PC. To truly watch their analogue in action, turn on C-SPAN or sit in on a contentious corporate board meeting.

この現象は、脳の別の部位に高次の処理モジュールが存在しても起こる。前頭葉は中毒ではないことを明らかに知っているのだが、嘔吐を促す古いモジュールに簡単に打ち勝てないのだ。（ガールフレンドのみならず）私も船酔いしていたが、こうした現象に興味津々だった私は、脳のいろんな部位が喧嘩し合っているのを感じていた。（中略）このように脳では部位によって環境刺激に対してとる行動が異なる。だから人間の脳は共通の目的に奉仕するデスクトップPCと言ったのである。同様の現象をじっくり観察したければ、Cスパンの議会中継を観るもよし、長々続く役員会議に参加するのもよしである。

Another example of our modules in battle with one another: There are some very strong modules inside of us that are programmed to make copies of themselves (and to do that, they need to make copies of us). These are the sex modules, and they have some of the largest and nicest buildings in our internal Washington D.C.s. These modules direct many of our waking hours as we navigate dating scenes, tend to our current relationships, determine what to wear and how to maintain our bodies, and so much more.

お互い喧嘩し合うモジュールは他にも存在する。これらは、自分自身のコピーを作り出す（そのために脳を含め我々そのもののコピーを作り出す）よう設計されている強力な6個のモジュールだ。脳内でも有数の大きさとゴージャスさを誇る。これらのモジュールは、我々が起きている間のほとんでにおいて我々の行動を指示している。デート先へ向かうのも、現在のいい仲を続けようとするのも、何を着て、ダイエットに気を遣うのも、みんなこいつらの指示による。

These reproductive modules might fill a woman with the urge to dress up and go dancing. And men with the urge to go to places where women dress up and dance while the men stand at bars drinking. Those modules might even lead some of these people to pair up and go home with one another.

And this is where various other modules will intervene with pills, condoms, and other tools designed to subvert the original urges that got the couples together in the first place. However, if those devices are not employed, even though higher-level modules most definitely did not want anyone getting pregnant that night, a lovechild might be born, and other modules will then kick in and flood brains with love and deep connections to assist in the rearing of that child.

Some of our modules want us to get pregnant. Often, stronger modules very much wish to delay this or make sure it’s with the right person. Dormant modules lie in wait to make sure we’re connected with our children no matter what those other hedonistic and unfeeling pricks in those other buildings down the block think.

これらは再生産モジュール（reproductive modeule）と呼ばれる。女性にはおしゃれをし、踊りに行くよう仕向ける。男性には、カウンターで酒を飲みながらおしゃれをした女性が踊っているのを眺める場所へ行くよう仕向ける。そのうち何人かはペアになって一緒に帰宅するよう導く。

そこへ他のモジュールが現れ、ピルやコンドームなどの道具で最初の合体衝動の邪魔をする。高次のモジュールは絶対、その夜の妊娠を望まないはずなのに、もしそうした道具が活躍しなければ庶子が生まれてしまうかもしれない。そうなれば他のモジュールの出番だ。二人を愛情と深い絆で満たし、子どもの成長を全力で助ける。

中にはつねに妊娠を望むモジュールも存在する。だが通常はそれより強いモジュールが一呼吸を置き、正しい相手かどうか確かめる。他の場所にいる快楽主義で感情のない “針” を操るモジュールがどう思おうと、休眠中のモジュールには関係ない。休眠中のモジュールの仕事は、子どもと親が確実につながっていることを辛抱強く確認することにあるからだ。

Critical to keep in mind here is that these modules are highly variable across the population, and our unique mix of modules create the personalities that we associate with our singular selves. It means we aren’t all alike. We might have modules that crave reproduction, even though some of our bodies do not create sperm, or our eggs cannot be fertilized. We might carry the reproduction module, even though the sexual-attraction module is for the same sex as our own.

ここでぜひ忘れないでほしいのは、こうした脳内モジュールは人口全体を見れば変動幅が大きいことだ。モジュールの組成は人によってぜんぶ違い、それが個人の自己というかたちで我々の人格を形作る。我々はみんな似て非なる存在なのだ。精子を産出しない対h質の人や受胎しない卵子をもつ人が再生産を強く望むモジュールを持つ場合があるし、再生産に関わるモジュールが同性に性的に惹かれるタイプのモジュールである場合だってある。

The perfectly engineered desktop computer analogy fails spectacularly, and the failure of this analogy leads to some terrible legislation and social mores, as we can’t seem to tolerate designs different from our own (or the average). It also leads AI researchers down erroneous paths if they want to mimic human behavior.

Fallibility and the disjointed nature of processing systems will have to be built in by design.

We will have to purposefully break systems similar to how nature haphazardly cobbled them together. We will especially have to simulate a most peculiar feature of this modularity, one that combines with Theory of Mind in a very special way. It is this combination that leads to human consciousness. It is the most important feature in our blueprint for a self-conscious machine.

このように見てくれば、完璧に作り上げられたデスクトップ・コンピューターのたとえが壮大なウソだとわかるだろう。我々は自分自身（あるいは平均的人間）と違うデザインを許せないようなのだ。だから、こうしたまずい比喩は、行けてない法制度や社会道徳を固定化させてしまうことになる。またAI研究者は人間の行動を忠実に再現しようとして誤った道を歩むことになる。

人間の脳は、内部で喧嘩し合い、間違いを起こしやすい部品が集まって出来た情報処理システムなのであり、AIにもあらかじめそれを組み込まなければ脳はつくれない。

自然がその不整合なサブシステムを何とかまとめあげているように、人間も整然としたロジックの体系に意図的な破れ目を入れておく必要がある。脳のモジュール性の最も奇妙な性質をあえてシミュレートし、特別な仕方で心の論理と整合させるよう工夫しなければならない。この奇妙さと心の論理の結合こそが人工意識を生む鍵である。この奇妙な結合は、自意識マシンをつくる青写真において最も大事な要件なのである。

最も重要な誤り

THE MOST IMPORTANT MISTAKE
With the concept of Theory of Mind firmly in our thoughts, and the knowledge that brain modules are both fallible and disconnected, we are primed to understand human consciousness, how it arose, and what it’s (not) for.

心の論理という概念、そして脳モジュールの誤謬性と非連関性に関する知識―、これらがあって初めて人間の意識を理解し、それがどうやって生まれ、何のためにあるのかわかってくる。

This may surprise those who are used to hearing that we don’t understand human consciousness and have made no progress in that arena. This isn’t true at all. What we have made no progress in doing is understanding what human consciousness is for.

こんなことを言うと、これまで人間の意識については何にもわかっていない、その方面では何の進歩も見られていないと聞かされてきた人は驚くかもしれない。それはウソだ。我々が進歩していないのは意識についての理解ではなく、人間の意識が何のためにあるかについての理解なのである。

Thousands of years of failure in this regard points to the simple truth: Human consciousness is not for anything at all. It serves no purpose. It has no evolutionary benefit. It arises at the union of two modules that are both so supremely useful that we can’t survive without either, and so we tolerate the annoying and detrimental consciousness that arises as a result.

この方面には数千年来の失敗の歴史があるが真実は単純だ。人間の意識は何かのためにあるのではないのだ。意識に目的はない。進化上のメリットは存在しない。2つのモジュールが組んで意識が立ち上がった。どちらも神々しいほど有用で、どちらを欠いても我々は生き延びられない。だから、結果的に、面倒で有害ですらある意識が立ち上がるのを許容したのである。

One of those modules is Theory of Mind. It has already been mentioned that Theory of Mind consumes more brain processing power than any other higher-level neurological activity. It’s that damn important. The problem with this module is that it isn’t selective with its powers; it’s not even clear that such selectivity would be possible. That means our Theory of Mind abilities get turned onto ourselves just as often (or far more often) than it is wielded on others.

ひとつは心の論理である。高次の神経系活動において、心の論理ほど脳の処理パワーを消費する活動は存在しないと言われている。それくらい重要なのである。このモジュールの問題は処理パワーを選択的に振り向けられない点にある。そもそも処理の選択性を持たせられるかどうかさえわかっていない。心の論理という能力は、他者の上に行使されると同じ程度に（しばしば、それよりはるかに多く）自分自身の上の行使されるということを意味する。

Imagine an alien ray gun that shoots with such a wide spread that anywhere you aim it, you hit yourself. That should give you a fair picture of how we employ Theory of Mind. Our brains are primed to watch humans to determine what they are thinking, why they are behaving the way they are behaving, and what they might do next.

Looking down, these brains (and their mindless modules) see a body attached to them. These modules watch hands perform tasks, feet take them places, words pop out in streams of thought. It is not possible to turn off our Theory of Mind modules (and it wouldn’t be a good idea anyway; we would be blind in a world of hurtling rocks). And so this Theory of Mind module concocts stories about our own behaviors.

Why do we want to get dressed up and go dancing? Because it’s fun! And our friends will be there!

Why do we want to keep eating when we are already full? Because it’s delicious! And we walked an extra thousand steps today!

想像してほしい。エイリアンが光線銃を持っている。どこを狙っても自分自身を撃ってしまう銃だ。心の論理のやっていることはこの銃と同じなのだ。他人が何を考えているのか、どうしていまそうしているように行動するのか、その次はどう出るのか―、人間の脳はいつでもこういう観察をできる態勢にある。

ところが、視線を下に向けてみると、脳に（そして無感情なモジュールたちに）体がくっついているのが見える。モジュールたちは手がする仕事を見、脚が踏みしめる場所を見、思考の流れから単語が飛び出してくるのを見る。この心の論理モジュールの電源を切るのは不可能だ（やめたほうがいい、電源を切った途端、岩石の飛び交う世界へ逆戻りだ）。電源を切れないので仕方なく自分の行動に関するお話をでっち上げる。

「なんでおしゃれして踊りに行くの？」「楽しいからよ！」「友だちもいるし」

「お腹いっぱいなのになんで食べ続けるの？」「おいしいからよ！」「その代り、今日はいつも数千歩も余計に歩いたわ」

These questions about our own behaviors are never ending. And the answers are almost always wrong.

自分の行動に関する自問自答には終わりがない。しかもその答えはほとんどの場合間違っている。

Allow that to sink in for a moment. The explanations we tell ourselves about our own behaviors are almost always wrong.

（ん？間違っている？）腑に落ちるまで、ちょっと考えてみて。

私たちが自分の行動に関して行う説明はほとんど例外なく間違っていると私はいったのである。

他人の行動は読めても自分の行動は説明できない脳の不思議

This is the weird thing about our Theory of Mind superpowers. They’re pretty good when we employ them on others. They fail spectacularly when we turn them on ourselves.

Our guesses about others’ motivations are far more accurate than the guesses we make about our own.

In a sense, we have developed a magic force-field to protect us from the alien mind-reading ray gun that we shoot others (and ourselves) with. This forcefield is our egos, and it gives us an inflated opinion of ourselves, a higher-minded rationale for our actions, and an illusion of sanity that we rarely extend to our peers.

これが心の論理のスーパーパワーがもつ奇妙な性質なのだ。他人の行動はあれだけ正確に読めるのに、自分について語るといきなり派手にこけるのである。

他人の動機に関する推測は、自分の動機に関する推測よりはるかに正確なのだ。

人間は、誰彼構わず撃ちまくるエイリアンの読心光線銃から身を護る魔法の磁場を持っているのかもしれない。この力の働く場を我々は自我と呼び、自分自身に関する意見を水増ししているのである。自分の行動を高尚に合理化し、他の人間には滅多に抱かないのに、自分に対しては正気の幻想を抱くのである。

The incorrect explanations we come up with about our own behaviors are meant to protect ourselves. They are often wildly creative, or they are absurdly simplistic.

Answers like “fun” and “delicious” are circular answers pointing back to a happiness module, with no curiosity about the underlying benefit of this reward mechanism.

The truth is that we keep eating when we’re full because we evolved in a world of caloric scarcity. We dance to attract mates to make copies of ourselves, because the modules that guided this behavior made lots of copies, which crowded out other designs.

自分についての誤った説明は自分を護る術なのである。途轍もなく創造的か、バカバカしいほど単細胞か、そのどちらかだ。

「楽しい」とか「おいしい」という答えは幸福感モジュールとの間でループするしかない答えであって、その基礎にあるはずの報酬メカニズムには何の関心も示していない。

真相は単純だ、腹一杯でも食べるのは我々の先祖がカロリー不足の世界で進化してきたせいなのである。自分たちの複製をつくるためにダンスの相手を探すのは、この方法でたくさんの子孫を残してきたモジュールが、他のモジュール設計を駆逐したからなのだ。

行動の不一致とウソの自己言及

Researchers have long studied this mismatch of behaviors and the lies we tell ourselves about our behaviors.

One study primed test subjects to think they were feeling warm (easily done by dropping in certain words in a fake test given to those subjects). When these people got up to adjust the thermostat, the researchers paused them to ask why they were adjusting the temperature. Convincing stories were told, and when the primed words were pointed out, incredulity reigned. Even when we are shown where our actions come from, we choose to believe our internal Theory of Mind module, which has already reached its own conclusion.

この行動矛盾、自己行動に関する虚言癖については長年研究がなされてきた。

たとえば、ある研究では被験者に温かいと感じてもらってから（フェイクテストで特定の単語を吹き込めば簡単にそう感じてもらえる）就寝してもらう。彼らが目覚めてサーモスタットを調整しようとしたら、研究者が遮ってなぜ温度を調節するのか問う。質問者を納得させるような物語が語られる。そこへ先ほど吹き込んだ単語のことを指摘すると、不信感が被験者を覆う。被験者の行動がどこから来たのか、その理由が明白になっても、被験者は心の論理モジュールを信じることを選ぶ。既にモジュールから結論は出ているからだ。

Subjects in fMRI machines have revealed another peculiarity. Watching their brains in real time, we can see that decisions are made before higher level parts of the brain are aware of the decisions. That is, researchers can tell which button a test subject will press before those subjects claim to have made the choice.

The action comes before the narrative. We move; we observe our actions; we tell ourselves stories about why we do things. The very useful Theory of Mind tool?which we can’t shut off?continues to run and make up things about our own actions.

機能MRIの被験者の場合も奇妙な行動を示す。彼らの脳をリアルタイムで計測すると、彼らは高次の脳部位がそれと意識する前に既に決断を下しているのである。つまり、被験者が自己申告をするより先に、研究者には被験者がどのボタンを押すかわかるのだ。行動が物語に先行する。

順番はこうだ。我々はまず動く。動いた結果を観察する。そして行動の理由を後付けで物語に組み立てるのだ。この非常に有用ともいえる、常時稼働の心の論理ツールは運転し続け、絶えず自分自身の行動の理由付けを行っているのである。

More pronounced examples of this come from people with various neurological impairments. Test subjects with vision processing problems, or with hemispheres of their brains severed from one another, can be shown different images in each eye. Disconnected modules take in these conflicting inputs and create fascinating stories. One eye might see a rake and the other will see a pile of snow. The rake eye is effectively blind, with the test subject unable to tell what it is seeing if asked.

But the module for processing the image is still active, so when asked what tool is needed to handle the image that is seen (the snow), the person will answer “a rake.” That’s not the interesting bit. What’s interesting is that the person will go through amazing contortions to justify this answer, even after the entire process is explained to them. You can tell your internal Washington DC how its wires are crossed, and it will continue to persist in its lunacy.

神経系統に障害のある被験者の場合はもっと明瞭にこの性質が現れる。視覚処理障害をもつ被験者、あるいは左脳と右脳の連絡を絶たれた被験者に対して、右眼と左眼とで違う画像を見せると、相互に連絡をもたないモジュールがインプットを取り込み、素晴らしい物語を生み出す。片眼は雪はねスコップらしきものを見、片眼は雪山を見る。スコップらしきものを見た眼は事実上視力を失っているから、何が見えたか聞かれても被験者は答えることができない。

しかし、脳内の画像処理モジュールは活動しているから、もう片方の前で見たもの（雪）を処理する道具は何かと問われると、被験者は「雪はねスコップ」と答えることができる。ここまでは別に面白くもない話だが、面白くなるのはその次だ。テスト全体の説明がなされた後でさえ、被験者は手を変え品を変え、ありとあらゆる想像力で自分の答えを正当化しようとするのである。自分の脳内ワシントンDCに電線のこんがり具合について説明してみるといい。脳は狂ったようにこんがり具合の理由を説明し続けるはずだ。

This is how we would have to build a self-conscious machine. And you’re hopefully beginning to see why no one should waste their time.

These machines (probably) wouldn’t end the world, but they would be just as goofy and nonsensical as nature has made us. The only reason I can think of to build such machines is to employ more shrinks.

自己意識を持つマシンを作ろうと思えば、これくらいの離れ業をさせなければ人間に近づくことはできない。これで時間を無駄にする人が出てこない理由がわかり始めたのではないか。

かりにそんな自己意識マシンが出来たとしても世界は滅びそうにないが、自然が我々を作ったのと同じくらい、不合理でおっちょこちょいな存在になることは確実だ。そんなマシンをわざわざつくるとしたら、もっとたくさん精神分析医を雇いたいという理由しか思いつかない。

青写真ふたたび

THE BLUEPRINT REVISITED

An eccentric fan of Alan Turing’s Turing Test with too much time on her hands has heard about this blueprint for building a self-conscious machine. Thinking that this will lead to a kind of super-intelligent mind that will spit out the cure to cancer and the path to cold fusion, she hires me and gives me a large budget and a team of electrical and mechanical engineers. How would we go about actually assembling our self-conscious machine?

アラン・チューリングのチューリング・マシンのエキセントリックな女性ファンがいて時間を持て余しているとしよう。彼女がこの自己意識マシンの作製青写真について耳にした。彼女は、これに従えば、癌の根治や常温核融合を実現させる超知的な心が生まれると考え、私を雇い、莫大な予算と電気機械系のエンジニア・チームを与えてくれたとしよう。実際、我々はどのように自己意識マシンを組み立てられるだろうか？

Applying what we know about Theory of Mind and disconnected modules, the first thing we would build is an awareness program. These are quite simple and already exist in spades. Using off-the-shelf technology, we decide that our first machine will look and act very much like a self-driving car. For many years, the biggest limitation to achieving truly autonomous vehicles has been the awareness apparatus: the sensors that let the vehicle know what’s going on around it. Enormous progress here has provided the sight and hearing that our machine will employ.

心の論理と非連結モジュールに関する知識を利用して、まずは覚醒（awareness）プログラムを組み上げるだろう。覚醒プログラムは単純なものだし、確実に既に存在している。既存の技術を使って、見た目も機能も自走車に似たマシンをつくることにする。実際、長年本当の意味で自走可能な車両をつくれなかったのはこの覚醒装置が最大のネックだったからだ。車両に周囲で発生している事象を知らせるセンサーのことである。長足の技術的進歩によりセンサーは実現した。我々の自意識マシンにも採用することに決めよう。

With these basic senses, we then use machine learning algorithms to build a repertoire of behaviors for our AI car to learn.

Unlike the direction most autonomous vehicle research is going?where engineers want to teach their car how to do certain things safely?our team will instead be teaching an array of sensors all over a city grid to watch other cars and guess what they’re doing.

That blue Nissan is going to the grocery store because “it is hungry.” That red van is pulling into a gas station because “it needs power.” That car is inebriated. That one can’t see very well. That other one has slow reaction speeds. That one is full of adrenaline.

基本知覚は装備した。次は機械学習アルゴリズムを使って、AI車に学ばせる行動のレパートリーを組み立てることだ。

自走車の開発の大半において、エンジニアはクルマに安全に何かをすることを教えたいわけだが、我々のチームは違う方法をとる。町中の電力グリッドにセンサー配列を張り巡らし、他のクルマを観察し、その行動を予測させるのだ。

あの青の日産車は「お腹が空いているから」グローサリーに向かっている。あの赤のバンは「エネルギーが無くなりそう」だからガソリンスタンドに入ろうとしている。あのクルマは酔っぱらてるんじゃないか。あのクルマは目がよく見えてないんじゃないか。あっちのクルマは反応が鈍すぎるな。それに比べて向こうのクルマはアドレナリン出過ぎじゃないのか、という具合だ。

Thousands and thousands of these needs and anthropomorphic descriptors are built up in a vast library of phrases or indicator lights. If we were building a person-shaped robot, we would do the same by observing people and building a vocabulary for the various actions that humans seem to perform. Sensors would note objects of awareness by scanning eyes (which is what humans and dogs do). They would learn our moods by our facial expressions and body posture (which current systems are already able to do). This library and array of sensors would form our Theory of Mind module. Its purpose is simply to tell stories about the actions of others. The magic would happen when we turn it on itself.

こうしたニーズや擬人化された記述子が、何千何万という単位で広大な語句のライブラリや標識電球に組み込まれる。クルマではなくヒト型ロボットをつくるなら、人間を観察し、彼らがとる様々な行動の語彙を構築することになるだろう。センサーは（人間や犬がやっているように）認知対象に視線を走らせて、その対象を記憶する。顔の表情や体のポーズから人間の気分を学ぶ（既に現状のシステムはこれを実現している）。このライブラリーとセンサー配列が開発チームの心の論理モジュールになる。このモジュールの目的は単に、他人の行動についての物語を伝えることだけだ。魔法は電源を入れた瞬間から始まる。

Our library starts simply with First Order concepts, but then builds up to Second and Third Order ideas.

Does that yellow Ford see the gray Chevy coming toward it? It swerved slightly, so yes, it did. Does that van think the hot rod drives too aggressively? It is giving it more room than the average room given to other cars on the road, so yes it does. Does the van think all hot rods drive too aggressively? It is giving the same amount of room to the Corvette that just left the dealership with only two miles on the odometer, so yes it does. Does this make the van prejudiced?

When we turn our own car loose and make the module self-referential, it’ll have to determine if it is prejudiced as well. Perhaps it would rely on other data and consider itself prudent rather than prejudiced (ego protecting it from wielding Theory of Mind accurately).

ライブラリーは一次の心の論理だけで始まるが、次第に二次、三次の思考をカバーするまでに成長する。

「グレーのシボレーが対向してくるな。あの黄色のフォード、気づいているのかな？」「ちょっとよけたな。よし、うまくやった」。「改造車の走りが乱暴すぎる。あのバンはどう思ってるだろう？」「ふつうのクルマに空けるより多めのスペースを空けて走ってる。そうだ、間違いない」「あのバンは改造車はみんあ乱暴運転だと考えてるのかな？」「ディーラーから出てきたばかりで、まだ2マイルしか走っていないコルベットにもさっきと同じ間隔を空けてる。間違いない、やっぱりそう思ってるんだ」「ていうことは、あのバンは偏見持ちなのか？」

我々のクルマの自由度を引き上げるには、モジュールを自己参照型にする必要がある。自分が偏見を持っているかどうかを自分で決めなければならないのである。おそらく我々のクルマは他のデータも参照して自分は偏見持ちなのではなく慎重なのだと自己評価するだろう（先ほど言ったように、自我は心の論理を精密に適用することに興味はなく、自我を護ることに興味があるから）。

Before we get that far, we need to make our machine self-aware. And so we teach it to drive itself around town for its owner. We then ask the AI car to observe its own behaviors and come up with guesses as to what it’s doing. The key here is to not give it perfect awareness. Don’t let it have access to the GPS unit, which has been set for the grocery store. Don’t let it know what the owner’s cell phone knows, which is that the husband has texted the wife to pick up the kids on the way home for work. To mimic human behavior, ignorance is key. As is the surety of initial guesses, or what we might call biases.

そこまで行く前に、AI自走車には自己認識を与える必要がある。クルマにまずオーナーを乗せて街中をドライブすることを教え、次に、自分の行動を観察し、それについて推論することを指示する。ここで重要なのは完全な認識を与えないことだ。行先がグローサリー・ストアに設定してあるGPSにアクセス権を与えてはいけない。旦那は奥さんに、帰宅の途中で子どもたちをピックアップしてくれとメールしたのだが、旦那の携帯に入っているメールの内容を教えてはならない。人間の行動を模倣させるためには無知がいいのだ。あるいは、初期段階の推測への自信やバイアスと呼ばれるインプットを持たせることが大事だ。

Early assumptions are given a higher weight in our algorithms than theories which come later and have more data (overcoming initial biases requires a preponderance of evidence. A likelihood of 50 percent might be enough to set the mind initially, but to overcome that first guess will require a likelihood of 75 percent, for instance). Stories are concocted which are wrong and build up cloudy pictures for future wrongness. So when the car stops at the gas station every day and gets plugged into the electrical outlet, even though the car is always at 85 percent charge, the Theory of Mind algorithm assumes it is being safe rather than sorry, or preparing for a possible hurricane evacuation like that crazy escapade on I-95 three years back where it ran out of juice.

我々のアルゴリズムでは、後でつくられた理論やデータ量を増やすことより、初期の仮定を重視する。初期のバイアスは実例の優越が起こらない限り修正されない。たとえば、50%の確率でも最初の推測は可能なので、これを上書きにするには75%の蓋然性が必要になる。捏造された物語は間違っているから、将来の間違いに対して霞のかかった絵柄しか描けない。AI車が毎日ガソリンスタンドに立ち寄って充電口から補給を受けるとして、常時85%しかチャージできてなくても、心の論理アルゴリズムはそれを問題視せず安全と判断する。あるいは、3年前、国道95号線を襲った猛烈なハリケーンのせいで電池切れを起こした事象への予防線としては、それで十分と判断するだろう。

What it doesn’t know is that the occupant of the car is eating a microwaved cheesy gordita at the gas station every day, along with a pile of fries and half a liter of soda. Later, when the car is going to the hospital regularly, the story will be one of checkups and prudence, rather than episodes of congestive heart failure. This constant stream of guesses about what it’s doing, and all the ways that the machine is wrong, confused, and quite sure of itself, will give our eccentric Turing fan the self-conscious AI promised by science fiction. And our eccentric will find that the resultant design is terrible in just about every way possible.

AIが与り知らないのは、クルマの搭乗員が毎朝スタンドで、チンしたチーズたっぷりのゴルディータとフライドポテトと炭酸入り飲料500mlを摂取していることである。その後、クルマが定期的に病院に通うことになれば、突発的なうっ血性心不全（CHF）のエピソードではなく、予防検診のストーリーが選ばれるだろう。こうした自分の行動に関する定常的な推測の流れや、マシンが間違い、混乱し、しかも確信に満ちているという状況を受け入れられるのであれば、SFの描くような自己意識AIが、女性チューリング・マニアの手に渡ることになる。そしてエキセントリックな意思の人は、設計の結果がどこをどう見てもひどい出来であることを理解するだろう。

＜初回終わり、以下次回＞