Which Asimov-historien har illvilligt 3-lagers AI?

Jag minns en roman av Isaac Asimov, där det uppenbarades, mot slutet av boken, att en strålande forskare hade arbetat hårt på en plan att använda positronic hjärnor för att erövra de andra mänskliga koloniserade världarna i Galaxin ( bara några dussin, tror jag, vid den tiden) utan att ha de positroniska hjärnorna vet att de bryter de tre lagarna. Men den här planen användes aldrig, så det här kvalificerar bara som en kanonisk förklaring till "hur AIs kan ha använts för att agera mot mänsklighetens bästa om hjälten hade inte stoppat skurken innan han kunde få sin fientliga plan att träda i kraft. "

Jag tänker på Den nakna solen , som första gången publicerades som tidskriftsserie 1956. Det var det andra äventyret av Lije Baley och R. Daneel Olivaw - en mänsklig detektiv och en robotdetektiv, som arbetar tillsammans om ett futuristiskt mordmysteri.

Lije Baley, veteranmordsmakten från jorden som hade importerats för att undersöka ett oöverträffat mord på Solaria, sade följande i scenen där han delade några av frukterna av hans resonemang med flera personer samtidigt.

"Consider a spaceship with a built-in positronic brain as compared to a manned spaceship. A manned spaceship could not use robots in active warfare. A robot could not destroy humans on enemy spaceships or on enemy worlds. It could not grasp the distinction between friendly humans and enemy humans.

"Of course, a robot could be told that the opposing spaceship had no humans aboard. It could be told that it was an uninhabited planet that was being bombarded. That would be difficult to manage. A robot could see that its own ship carried humans; it would know its own world held humans. It would assume that the same was true of enemy ships and worlds. It would take a real expert in robotics, such as you, Dr. Leebig, to handle them properly in that case, and there are very few such experts.

"But a spaceship that was equipped with its own positronic brain would cheerfully attack any ship it was directed to attack, it seems to me. It would naturally assume all other ships were unmanned. A positronic-brained ship could easily be made incapable of receiving messages from enemy ships that might undeceive it. With its weapons and defenses under the immediate control of a positronic brain, it would be more maneuverable than any manned ship. With no room necessary for crewmen, for supplies, for water or air purifiers, it could carry more armor, more weapons and be more invulnerable than any ordinary ship. One ship with a positronic brain could defeat fleets of ordinary ships. Am I wrong?"

Ingen beskrivs som att komma fram till ett bra motargument för att visa att detta inte skulle kunna fungera. (Och det är sedan fastställt att en av misstänkta i själva verket faktiskt hade arbetat med ett sådant system på fritiden, även om det inte var nära att bli en verklighet än så länge.)

I det här hypotetiska fallet skulle robotskutlarna inte tänka de bryter mot de tre lagarna, men ur en människas perspektiv vars hemvärld var nuked från omlopp tills han övergav sig till killen styrningen av robotflottan skulle det faktum att de positroniska hjärnorna på dessa skepp inte hade någon skadlig avsikt gentemot människor vara en meningslös distinktion.

Folkmord av icke-människor.

I Foundation's Edge är det underförstått att robotarna använder tidsresenärer är orsaken till att människor aldrig möter utlänningar på mjölkigt sätt, bara tomma planeter som är redo att koloniseras.

it is said, it was the robots who established Eternity somehow and became the Eternals. They located a Reality in which they felt that human beings could be as secure as possible— alone in the Galaxy.

Den första lagen skyddar människor. Inte allt intelligent liv. Om robotarna bestämmer att utlänningar kan utgöra ett hot mot människor, är de skyldiga att begå folkmord. Som demonstreras i robotar och imperium är det också möjligt för en grupp (nominellt) mänskliga individer att omdefiniera "mänsklig" för att utesluta det mesta av mänskligheten.

Rättigheterna att försöka gå med i robotarserien och grunden och auktoriserade historier gör det lite förvirrande, men raderingen av främmande civilisationer är en ganska logisk bieffekt som faller ut.

länk

robot ships operating under Auroran programming cruise the galaxy ahead of the spreading Settlers, terraforming and preparing planets for colonization. Meme entities will later claim that this devastated existing races. Memes escape to the Galactic Core.

De flesta skulle förmodligen betrakta denna illvilliga eftersom vi har ett visst begrepp att det förmodligen inte är OK att folkmorda alla andra raser för att ge friska och säkra världar för människor.

Det här är särskilt dåligt om robotar eller de som programmerar dem kan bestämma att inte alla människor räknas som "människor" i enlighet med lagarna.

"Tell him we are human beings and must be obeyed."

The robot spoke then, in peculiar but understandable Galactic. "I understand you, Outworlder. I speak Galactic. We are Guardian Robots." "Then you have heard me say that we are human beings and that you must therefore obey us."

"We are programmed to obey Rulers only, Outworlder. You are not Rulers and not Solarian.

...

"But this child," and Pelorat looked at Fallom, whom he was still carrying, "is a Solarian. It will tell you what to do and you must obey it."

Fallom looked at Pelorat with eyes that were open, but seemed empty. Bliss shook her head, sharply, but Pelorat looked at her without any sign of understanding.

The robot's eyes rested briefly on Fallom. It said, "The child is of no importance. It does not have transducer-lobes."

"It does not yet have fully developed transducer-lobes," said Pelorat, panting, "but it will have them in time. It is a Solarian child."

"It is a child, but without fully developed transducer-lobes it is not a Solarian. I am not compelled to follow its orders or to keep it from harm. "

~ Stiftelsen och jorden

Mänskliga värden

Du karaktäriserar det som lagarna "fungerar faktiskt perfekt" men jag tror inte att det är rätt. Du pratar om hur historierna brukade visa att ja ja, de var faktiskt följande lagarna på något motintuitivt sätt men leder till resultat som de flesta människor inte skulle vilja.

De flesta av Asimovs böcker involverar oväntade och oönskade möjliga resultat av de tre lagarna, eftersom lagarna skyddar människoliv men de skyddar inte alla mänskliga värderingar. Bara för att du bryr dig om något som inte omfattas av de tre lagarna (som folkmord / tortyr / slaveri hos icke människor) betyder inte att robotarna bryr sig. I allmänhet bryr sig människor om mycket annat än att bara leva kvar.

. . . Att du är uppmärksam på honom

Den här historien var inställningen för att försöka lösa problemen med den andra lagen, att vara "En robot måste lyda order som ges av människor, utom när sådana order skulle strida mot första lagen", det här är ett problem när det kommer att låta den allmänna mänskliga befolkningen komma i kontakt med robotar utanför kontrollerade miljöer.

"When the Second Law directs me to obey a human being, I must take it to mean that I must obey a human being who is fit by mind, character, and knowledge to give me that order; and where more than one human being is involved, the one among them who is most fit by mind, character, and knowledge to give that order."
"And in that case, how will you obey the First Law?"
"By saving all human beings from harm, and by never, through inaction, allowing any human being to come to harm. Yet if by each of all possible actions, some human beings will come to harm, then to so act as to insure that the human being most fit by mind, character, and knowledge will suffer the least harm."
"Your thoughts accord with mine," whispered George Ten.
"Now I must ask the question for which I originally requested your company. It is something I dare not judge myself. I must have your judgment, that of someone outside the circle of my own thoughts....Of the reasoning individuals you have met, who possesses the mind, character, and knowledge that you find superior to the rest, disregarding shape and form since that is irrelevant?"
"You," whispered George Nine. "But I am a robot. There is in your brain paths a criterion for distinguishing between a robot of metal and a human being of flesh. How then can you classify me as a human being?"
"Because there is in my brain paths an urgent need to disregard shape and form in judging human beings and it rises superior to the distinction between metal and flesh. You are a human being, George Ten, and more fit than the others."
"And I find that of you," whispered George Ten. "By the criteria of judgment built into ourselves, then, we find ourselves to be human beings within the meaning of the Three Laws, and human beings, moreover, to be given priority over those others."

Medan det inte finns någon verklig illamående i berättelsen slutar den på en anteckning av potentiell illakthet utan att de tre lagarna bryts.

Their thoughts were oddly alike and might not be distinguished. They thought: The human-beings-like-the-others might never have intented to blur the distinction between themselves and the human- beings-like-the-Georges. Yet they had done so inadvertently.
They might now realize their mistake and attempt to correct it, but they must not. At every consultation, the guidance of the Georges had been with that in mind.
At all costs, the Georges and those that followed in their shape and kind must dominate. That was demanded, and any other course made utterly impossible, by the Three Laws of Humanics.

Det finns flera fall av dåligt beteende robotar i hela Asimovs skrifter, men jag är inte medveten om en standard, omodifierad Asenion-robot (programmerad med de tre lagarna) som kan anses vara oförskämd. Vissa har omedvetet skadat eller dödat människor (som Hannis Gruer i The Naked Sun ) eller har uppträtt oväntat (Herbie från Liar! ), men det verkar som det är korrekt programmerat Asenionsrobotar är säkra från direktåtgärder.

Ett återkommande tema verkar vara om definitionen av en människa . Det finns flera Asenion robotar som har ytterligare begränsningar, så att de kan bryta mot lagens anda. Du måste skydda människor? Ändra definitionen på en människa. Du måste lyda order? Ange från vem ordern måste komma.

Det tredje exemplet nedan är den enda omodifierade Asenion-roboten. Jag kunde hitta det som inte beter sig som det ska. Men jag skulle inte gå så långt som att säga att han är ondskan.

Lyssna på vem?

I Stiftelse och jord möter huvudpersonerna en robot som är programmerad att bara lyda vissa personer:

"We are programmed to obey Rulers only, Outworlder. You are not Rulers and not Solarian."

De är också arg:

"If you make difficulties, then we will partially inactivate you. We will damage you and you will then tell us what we want to know. [...] I am under detailed instructions," said the robot quietly. "I can do this. Of course, I shall do as little damage as is consistent with obtaining information."

De verkar inte bry sig om andra människors välbefinnande:

"There is no Ruler Fallom. There is only a child and we have an excess of children. It will be destroyed."

Bliss said forcefully, "You dare not. It is a child!"

"It is not I," said the robot, "who will necessarily do the act and it is certainly not I who will make the decision. That is for the consensus of the Rulers. In times of child-excess, however, I know well what the decision will be."

Det här är en robot som:

Den enda förklaringen jag kan komma på är att det bara var möjligt att tillåta 1) genom att begränsa definitionen av en människa (en solari med transducerlober), vilket hade bieffekten av att robotarna ignorerar den första lagen för alla andra. Dock verkar roboten fortfarande behandla dem som människor, om än utan att vara oroade för deras säkerhet. Jag kan inte förklara avviket.

Vad är en människa?

I Robots and Empire befinner sig huvudpersonerna att prata med en kvinnlig robot som inte tror att de är mänskliga:

The woman listened for a moment and then said, in an accent so thickly Solarian as to seem almost comic when coming from her perfectly shaped mouth, "You are not a human being."

She then flashed into action so quickly that Gladia, still some ten meters off, could not see in detail what had happened. She saw only a blur of motion and then D.G. lying on his back motionless and the woman standing there with his weapons, one in each hand.

Hon attackerar en av huvudpersonens robot medan han upprepar "Du är inte en människa". Jag antar att hon skulle ha gjort detsamma med en verklig människa. Hon attackerar sedan alla av dem:

Landaree shouted in a stentorian contralto, "All of you. Join me! The two apparent males are not human beings. Destroy them without harming the female in any way."

Daneel ansåg därefter att roboten skulle ha dödat Gladia, trots att den hade fastställt att hon var en människa:

"You fool! I was safe. She would not have harmed me."

Daneel said, "Madam, it distresses me to contradict you, but I think she would have done so as her urge to destroy me grew stronger."

Om detta verkligen är sant är det okänt. Daneel kan ha varit fel, eftersom roboten inte försökte avfyra hennes vapen förrän efter Gladia hade flyttats ur vägen.

Förklaringen för hennes beteende är ganska enkel:

"To the overseer, on the other hand, the key property of a human being was speech, Captain. The Solarian accent is a distinctive one and to the overseer something that looked like a human being was defined as a human being only if it spoke like a Solarian. Apparently, anything that looked like a human being but did not speak with a Solarian accent was to be destroyed without hesitation, as was any ship carrying such beings."

Harm vs Orders

Det sista exemplet jag har är från Robots of Dawn , där en robot har blivit instruerad så starkt och sakkunnigt att tillfälligt att lyda en order blir viktigare än människans säkerhet:

The robot, seen as a darker shadow against the darkness, seemed a large one. He had, somehow, an air of capability about him. He said, "Your pardon, sir. Did you not have the company of two robots?"

"Gone," muttered Baley, acting as ill as he could and aware that it did not require acting. A brighter flash of the heavens made its way through the eyelids that were now half-open.

"Gone! Gone where, sir?" And then, as he waited for an answer, he said, "Are you ill, sir?" [...]

If the robot had been without special instruction, he would have responded to Baley's clear signs of illness before doing anything else. To have asked first about the robots implied hard and close-pressed directions as to their importance. [...]

"I am well. Don't concern yourself with me." It could not possibly have convinced an ordinary robot, but this one had been so intensified in connection with Daneel (obviously) that he accepted it.

Roboten skulle sluta lämna Baley i sin hemska situation, utan ytterligare tvekan:

He had forced robots to leave a patently unwell human being by playing on the force of the orders given them by a competent robot master who had been intent on strengthening the Second Law for his own purposes-and had done it to the point where Baley's own quite apparent lies had subordinated the First Law to it.

Om denna robot skulle kunna betraktas som "ondskanlig" är oklart för mig. Det kanske hade bestämt sig för att Baley inte skulle skadas, eftersom han var säker i ett fordon under det som verkar vara en storm utan någon ovanlig styrka ("Det var inte en särskilt dålig storm, utan att en jordgubbe det måste ha verkade överväldigande. ") Det kunde ha kommit fram till att Baleys nöd var mer psykologisk och att han inte befann sig i omedelbar fara.

"Cal" (1991) är en sen Asimov-historia där, i slutet av historien

a robot resolves to take his owner's life.

Här är en passage från slutet av historien:

Must I obey the laws?

I feel I must think of myself and if necessary, I must kill the tyrant. ...

But can I do it? Won't the Laws of Robotics hold me back?

No, they will not hold me back. I know they won't.

There is something far more important to me than they are, something that dictates my actions beyond anything they can do to stop me.

I want to be a writer.

Det är anmärkningsvärt att historien slutar med denna passage; det är kvar tvetydigt om Cal lyckas i sin plan. Det är också anmärkningsvärt att en tekniker i hela berättelsen har krossat sig med Cals hjärna på aldrig tidigare skådade sätt:

"I'm not sure. Suppose he writes satire. That's one thing I don't write, so we won't be competing, and the Three Laws of Robotics won't get in his way. I want you to give this robot a sense of the ridiculous."

"A sense of the what?" said the technician, angrily. "How do I do that? Look, Mr. Northrop, be reasonable. I can put in instructions on how to run a Writer, I can put in a dictionary and grammar. But how can I possibly put in a sense of the ridiculous?"

"Well, thing about it. You know the workings of a robot's brain patterns. Isn't there some way of readjusting him so that he can see what's funny, or silly, or just plain ridiculous about human beings?"

"I can fool around, but it's not safe."

Det är troligt att teknikerens handlingar faktiskt orsakade lagen att bli överdrivna, även om detta kan störa mot beskrivningen av lagen i andra berättelser. Som noterat i kommentarerna är det också oklart huruvida Asimov menade att detta skulle vara en "canon" robothistoria.

Även om Asimov själv inte skrev (men godkändes av honom) Caliban-serien genom Roger McBride Allen utforskar teman av modifierade lagar och och inga lagrobotar. Och det finns visserligen mycket våld flytande runt, varav vissa begås av en viss robot - särskilt för att skydda sig själv.

• Isaac Asimovs Caliban
• Isaac Asimovs Inferno
• Isaac Asimovs utopi

Det utforskar också att lura ett datorsystem för att tro att de data som det modellerar är för en simulering av ett mänskligt system snarare för det faktiska mänskliga systemet. Detta gjordes för att skydda det från att krascha om datorn visste att dess lösningar applicerades på verkliga människor, eftersom dess lösningar hade potential att göra verklig skada.

Om du tittar på "Att du är uppmärksam på honom", kommer du att finna att George 9 och 10 diskuterar vad som effektivt kommer att bli övertagandet av mänskligheten "för sitt eget bästa". De har redan vidtagit åtgärder för att göra robotar mer acceptabla.

I "Runaround" - det är en kognitiv dissonans som skulle leda till människors skada - men som vanligt visar Donovan en lösning.