知客：我次用模型的候，說實話，有點被嚇到。

它回答得太了，說話太完整了，連語氣都很像。

我當腦子只有個念頭：這玩意兒是是己經思考了？

蘇格拉底：你結論之前，我們先慢點。

你先告訴我——你為什么覺得它思考？

知客：因為它能回答問題啊。

而且是那種死板的回答，是有邏輯、有例子、有總結。

我問它“怎么寫方案”，它給我寫了份；我問它“生有沒有意義”，它還能反問我。

這像思考，像什么？

蘇格拉底：那我種問法。

如個西說話很像，我們是是就意識地認為它想？

知客：……像是。

蘇格拉底：那我們來個實驗。

設有只鸚鵡，它能背你所有的問題和對應的回答。

你問句，它就答句，遠出錯。

你說它思考嗎？

知客：吧，它只是背得多。

蘇格拉底：那問題來了。

如“回答”等于“思考”，你憑什么確信，模型是只“級鸚鵡”知客：可問題是，模型只是重復。

它能回答我沒見過的問題。

蘇格拉底：你說得很。

那我們就要更確點。

你覺得“思考”至包含什么？

知客：嗯……理解問題？

知道己說什么？

是說？

蘇格拉底：很。

那我們先抓住其個：理解。

我再問你個有點舒服的問題：你怎么確定——對方是的理解了，而是起來像理解？

知客：這怎么區？

蘇格拉底：很難。

因為類界，我們幾乎從來區。

個能對答如流、邏輯清楚、語氣然，我們默認他是“懂的”。

可問題是：這是對的判斷方法，定適用于機器。

蘇格拉底：類有個生的弱點：我們把語言能力，誤當思維能力。

你想想：孩什么候被認為“聰明”？

學生什么候被認為“了”？

面試什么候被認為“過了”？

答案往往只有個：他說得像那么回事。

知客：你是說，我們被語言騙了？

蘇格拉底：是被騙，是太習慣了。

類社，“說話”幾乎遠和“想事”綁定起。

所以當個機器突然也能說得這么像，我們本能地把整判斷起搬了過來。

可我們從來沒認問過句：“如個西能說，但想，它是什么樣？”

知客：等等。

你是是暗示：模型可能根本沒有想，只是回答？

蘇格拉底：我暗示，我只問。

你回答我：你和模型對話，它有沒有哪怕秒鐘停來，說：“我先想想。”

知客：……沒有。

蘇格拉底：它有沒有猶豫？

有沒有因為“拿準”而拒絕回答？

知客：多數候沒有，它很信。

蘇格拉底：那你有沒有想過種可能：它從來是“想了再說”，而是“須說”。

蘇格拉底：我們來到本章重要的問題。

我希望你先別急著回答。

如個系統的務只是：何況，都給出個“起來合理的回答”，它需要思考嗎？

知客：……像定。

蘇格拉底：對。

也許，它只需要件事：知道什么樣的回答“像是個回答”。

注意這句話。

它需要知道“對對”，需要知道“是什么意思”，甚至需要知道“己說什么”。

它只需要知道：這種問題后面，常接著出這樣的話。

知客：那你能能首接告訴我：它到底思考？

蘇格拉底：能。

因為旦我給你結論，你后面都“動站隊”。

這是要你相信個答案，而是要你步步發：你原來的判斷依據，靠住。

所以我們先只保留個問題，帶著它往走：如個西能完地“模擬思考的結”，那它和“正思考”之間，還差什么？