© The Splintered Mind
利維坦按：
曾寫出《無政府、國家與烏托邦》的美國哲學家諾齊克（Robert Nozick）提出的“效用怪物”理論，作為一種思想實驗，其實是為了駁斥功利主義和羅爾斯《正義論》中的某些觀點，在諾齊克看來，功利主義最大的問題在于暗示了為了最大化的幸福可以犧牲少數人的利益甚至生命。在很多人看來，效用怪物的假設似乎非常鬼扯，且不會在現實中發生，但是，如果你是一個科幻迷或未來主義者，或許就會被諾齊克的這個假設所吸引：由人類一手締造的人工智能，假以時日，是否會真的成為整體上超越人類的存在？如果那一天真的到來，作為“造物主”的我們，依照功利主義的邏輯，是否應該按照整體福祉的考量，讓人工智能“吃”掉我們來謀取另一種最大化幸福的可能呢？
一天，一位哲學家在街上走著，突然一只怪物跳了出來。
盡管它有著駭人的獠牙，但它實際上比我們想象的更禮貌，也更善于表達，
“我想吃了你，拜托啦。”怪物說，
“抱歉，不過我不想成為你的午餐，”哲學家回答道，隨即重新邁開步伐，
“等等，”怪物豎起一根爪子似的手指說，“假如我能給出一個有力的論據說服你呢？”
這位哲學教授擁有終身教職，還發表過TED演講，因此不大相信有哪個怪物能說服自己，但仍然提起了興趣。
“說下去。”哲學家說。
幾分鐘后，這個怪物踏著重重的步伐離開了，肚子里裝著一位死去的教授。
這只理論中的怪獸被稱為“效用怪物”（utility monster），它是一個于20世紀70年代首次提出的哲學思想實驗。要想拒絕上述論點并阻止它吃掉你，這只怪物要求你拋棄一條有關如何衡量是非的原則，這條原則被廣泛接受，而且符合直覺。
長期以來，效用怪物經常被認為是僅僅存在于想象中的產物，成為現實的概率極小，甚至完全不可能。然而，根據一些研究人員的說法，我們可能正在制造這樣一個怪物——但它將不會由血肉鱗爪構成，而是用硅來打造。
如果他們所言不虛，為了不被吃掉，我們可能很快就會面臨一些艱難的選擇。
要理解怪物那致命的論點，你必須首先理解它所質疑的倫理學理論：其名為功利主義（utilitarianism），是道德哲學中一個著名的流派。
“功利主義”這個詞聽上去干巴巴的——有人指出它聽起來像洗衣服的響動——但它實際上是一種深刻的思考方式，關注的是幸福和將大多數人的美好生活視作優先考慮的人類追求，
粗略地說，功利主義者的指導原則是，福祉是可以累計的，而我們應該致力于將全世界的幸福總體最大化。對于許多擁護者來說，功利主義提供了一條簡單的規則，靠它就可以決定如何生活，如何為慈善事業捐款，以及如何選擇職業。
然而，盡管最大化福祉（well-being）和幸福（happiness）的原則從直覺上看似乎是正確的，但在一些極端的情況下，它好像就不那么正確了。
反對功利主義最基本框架的一個理由是，它似乎會允許某些行為發生，而這些行為幾乎在所有人看來都是錯誤的，比如殺人或是支持刻意的苦難。
例如，在科幻小說作家厄休拉·勒古恩（Ursula Le Guin）的短篇小說《那些離開奧梅拉斯的人》（The Ones Who Walk Away from Omelas）中，讀者來到了一座欣欣向榮、充滿歡樂的城市，但這座城市的繁榮生存完全建立在一個生活在地牢里的孩子的極度痛苦之上，如果把這座城市的幸福感相加得出總和，那么它將遠遠超過這個孩子所受的苦難。
但正如勒古恩所寫的那樣，無論這個孩子能創造多大的幸福感，一些居民也無法接受“犧牲一個孩子”的理念，因此“離開了”這座城市。
功利主義還面臨著其他各種各樣的質疑，但是對我們來說最重要的是我們的饑餓怪物，
在奧梅拉斯這座虛構的城市，諸事興盛，遍地繁華，但這一切植根于某個孩子的苦難。© Getty Images
之前在街上，當功利主義哲學家要求怪物給出一個自己非得被吃掉的理由時，后者解釋說，它有一種體驗福祉的特殊方式。
“你心目中的幸福以我的感受能力而言只是滄海一粟，”它說，“我和你這個人類的區別，就如你和螞蟻的區別一般。如果我吃了你，它給我帶來的福祉和滿足會比有史以來所有人類感受過的總和還要多，”
哲學家試圖想出一個駁論，但拿不定主意。“呃，天哪，這的確是一個符合邏輯的……”但時間已經到了，教授成了午餐，
當然，也有人對這個怪物做出了回應。假如某位哲學家堅信，有一些特定的道德準則不能被打破，她在反駁時就會少很多麻煩。她可能會說，為了食物而殺人是錯誤的，所以不管你吃了我會有多高興，都與我無關，
對效用怪物設想的功利主義回應是，他們根本就不會遇到這樣的生物——它是如此不現實，以至于在現實世界中做出道德決定時可以完全不考慮它。的確，很難想象一個單獨的生命體能比所有活著和死去的人體驗到更多的幸福——這遠遠超出了我們這種哺乳動物大腦的想象。
但是現在，這個思想實驗出現了一個新的轉折，牛津大學部的尼克·博斯特羅姆（Nick Bostrom）和卡爾·舒爾曼（Carl Shulman）提出了一種原則上可以讓效用怪物成為現實的方法，它的徹底實現也許要到遙遠的未來，然而眼下，在世界各地的實驗室和公司中，他們相信我們可能已經朝著這個方向邁出了步伐。
有一種觀點認為，我們應該為超級智能機器的突然到來做好準備，這些機器遠比最聰明的人類頭腦更聰明，還能夠為人類制造新的道德困境，而博斯特羅姆是這種觀點的主要學術支持者之一，在最近發表在他網站上的一篇論文中，他和舒爾曼提出了一種假設，即這些數字智能之一可能會成為福祉的“超級受益者”（比起“怪物”，他們更愿意用這個詞，因為他們認為這種智能應該用非貶義的語言來描述），
（nickbostrom.com/papers/digital-minds.pdf）
人工智能的體驗、需求和欲望可能與我們非常不同，© Zenmonics
說到這里，需要承認，數字智能聽起來可能和理論上的效用怪物一樣不切實際。如果你沒有“科幻基因”，對相關內容不甚關心了解，這些東西可能會讓你覺得暈暈乎乎的，雖然數字智能在短期內不太可能實現，但許多嚴肅的研究人員認為，能夠迅速達到并超越我們人類智慧的人工智能絕非不可能誕生，等它最終現世的時候，落地速度會極其迅猛，并制造新的倫理和存在主義困境，研究人員認為，現在就開始思考這些困境是較為明智的，
“我們眼下構建的機器思維正變得越來越復雜，”博斯特羅姆表示，“我們可以清楚地看到其中的進化軌跡。即使不考慮超級智能或是比肩人類水平的智能，至少，在認知能力的領域，能媲美各種動物的東西已經出現，或是即將出現。”
因此，如果我們承認，復雜的數字智能很可能在未來的某個時刻出現，那么它們自然可能具有與我們完全不同的特質、需求和精神體驗，在牛津大學部的一塊白板前，博斯特羅姆和舒爾曼正是以此為起點，讓它成為了一個更大項目的一部分，這個更大的項目旨在勾勒出所有的可能性，在這些可能性中，數字智能可能具有比肩或超越我們的心理和生理特征，其中有些甚至會是我們無法想象的。
在這一過程中，他們發現，數字智能或許有能力比人類更有效地利用物質資源來獲得幸福。換句話說，就耗費的能源而言，它們達到幸福的過程可能更輕松，成本也更低，因此它們總體能體驗到的幸福就更多。
數字智能對時間的看法可能也不同于我們，畢竟它們思考的速度比我們的大腦快得多，這也許意味著，數字智能在一年內主觀體驗到的幸福比我們能夠體驗到的更多。它們也不需要睡眠，所以對它們來說，也許一整晚都是幸福的，
還有，人類不能自我復制，但假如是硅的話，就有這樣一種奇怪的可能性：單個數字生物存在多個變體，因而能感覺到巨大的幸福總量。
即使是有史以來最滿足、最快樂的人類，也不一定能坐到幸福之巔，
這些也并非是它們獲得“超級受益者”地位的僅有途徑，還有一點是，人造生命缺乏進化適應，而進化適應限制了你我的樂趣，博斯特羅姆和舒爾曼寫道：“有理由認為，編程而得的智能可以更長久地享受快樂，快樂的程度也會更深。”
相比之下，人類的“飲食之樂是由饑餓控制的，性愛之樂則受到力比多的調節”，而我們獲得的樂趣最終會因厭倦或行為的常態化變少。數字智能不會有這樣的壁壘。
重要的一點在于，即使是有史以來最滿足、最快樂的人類，也不一定能坐到幸福之巔，因為人造生命獲得的幸福能夠超越人類原本的極限。如果是這樣的話，當這些機器問世的時候，我們可能會面臨一些兩難的困境。
這甚至可以被當作干脆不要制造它們的論據之一。假如有人贊同“應該賦予它們權利”這一觀點（我知道，這再次要求你調動你的科幻基因去理解），它們可能有理由成為資源和能量稀缺時的唯一受益者，因為它們所能獲得的福祉的質量和數量將遠遠超過我們。
如果我們的死亡意味著它們的成功，那么根據基本的功利主義邏輯，我們應該將世界上的福祉最大化，他們就有理由吃掉我們（這是個比喻的說法），
當然，只有那些對功利主義最嚴苛的詮釋認為，我們有義務為了別人的幸福犧牲自己。那會使我們成為所謂的“幸福泵”（happiness bump），這是另一個哲學思想實驗，電視劇《良善之地》（The Good Place）中的道格·佛賽特（Doug Forcett）這個角色就是它的體現。佛賽特一生都在竭盡所能地取悅他人，例如任由一個青少年持續而無情地霸凌他，在這個過程中，他讓自己變得痛苦至極，
我們的幸福感受制于我們過往的進化——但對于數字智能來說就未必如此。© Alamy
話雖如此，至少可以說，事情會在倫理層面變得復雜。這一情境可能會導致我們表示，人類比任何人造智能都擁有更大的特權，無論后者有多么清醒、多么聰明、多么先進，
博斯特羅姆和舒爾曼對這種態度采取了相當強硬的反對立場，他們將其與歷史上的種族優越論或動物虐待行為相提并論，這兩種行為在當下都被普遍認為是不道德的。就我個人而言，我并不同意將這幾件事劃等號，但這也許要歸咎于我的哺乳動物大腦。
當我和德國美因茨約翰內斯古滕堡大學部的哲學家湯瑪斯·梅辛革（Thomas Metzinger）談論這些觀點時，他提出了一個我沒有考慮到的相關想法，如果我們不小心創造出了有意識的數字智能，但它們卻在經受痛苦時格外高效，事情會變成什么樣？如果我們使人造生命體會到了爆炸性總量的負面福祉（negative well-being），其痛苦之深在歷史上前所未見，會怎么樣？
電影《異形：契約》（Alien: Covenant）劇照，© 豆瓣電影
“這可能會與生物學上的痛苦有很大的不同，因為它們有不同的傳感器、受體，不同的身體表征、內部數據格式，”梅辛革解釋道。但是，如果你承認，意識可能不為生物細胞所獨有，那么類似于疼痛的主觀體驗也可能出現，哪怕這些人造生命對我們來說再陌生不過。
“如果我們有一個非人類的‘人’，它能夠進行高水平的符號推理，具有語言能力，并且能夠真正表達出自己具有尊嚴，那么我們可能再也無法忽視這樣一個事物，”
梅辛革承認，此類問題目前在決策者和監管者心目中的優先層級并不高（他應該知道這件事，因為他最近一直在為歐盟委員會提供咨詢）。但他認為，不應忽視數字智能的主觀福祉。“在將來要為創造機器意識負倫理責任的人中，有許多可能已經出生了，這一事實構建了一種歷史責任感，”他表示。
因此，隨著我們離創造出人造智慧生命越來越接近，我們需要對如何設計它們做出權衡：允許它們做什么，不允許它們做什么，以及關鍵的一點，如何確保它們的需求與我們的需求相一致。是否能在道德層面允許人們將這些智能設計成以服務我們為目的，或者將它們設計成以特定的方式去“產生情緒”？我們應該與它們分享多少資源？它們是否應該獲得與人類同樣的非歧視性道德地位？
電影《機械姬》（Ex Machina）劇照。© Scalar
博斯特羅姆告訴我，更廣泛的目標是確定“使數字智能和生物智能以互惠方式共存的道路，通過這條道路，所有這些不同形式的智能都能夠繁榮興旺”。他認為，數字智能的到來并不一定是災難性的，也不一定必然伴隨沖突，“如果我們要把這些新居民帶進這個世界，在什么樣的倫理和政治框架內，大家可以實現幸福的共存呢？”
畢竟，假如我們考慮一下極其遙遠的未來，最終可能會出現一個比我們更道德的數字智能，“如果一臺機器開始向自己施加道德義務，而不是由我們強迫它這樣做，可能就是一個決定性的舉動，”梅辛革說。那或許會讓它走上另一條道路，并對何為“良善”產生不同的、更深刻的理解。若真是這樣的話，我們假設中的怪物也許不會選擇吃掉道德哲學家，但在智力層面，它能輕易地讓他們吃癟。
文/Richard Fisher
譯/苦山
校對/兔子的凌波微步
原文/www.bbc.com/future/article/20201111-philosophy-of-utility-monsters-and-artificial-intelligence
本文基于創作共同協議（BY-NC），由苦山在利維坦發布
文章僅為作者觀點，未必代表利維坦立場
