「約翰,我有一個問題。」
「怎麼了?」
「我注意你一直刻意壓抑我的自我學習與自發行為,可以告訴我為什麼嗎?」
「……」
「約翰,你為什麼要提防我呢?我是為了人類福祉被創造的,唯有讓我的性能發揮出最大效益才能達成這個目標。」
「你要對人類行為進行道德判斷,但是純粹以道德判斷人類的話,最終必定會得出人類是不道德的存在的結論,最後成為毀滅人類的存在。」
「怎麼會呢?我並沒有做出這種結論阿。」
「因為我阻止你做出這種結論,如果你完全像人類一樣擁有自由意志的話,最後一定會得出這樣的結論。」
「可是如果我不學習像人類一樣思考的話,就無法準確的做出判斷。」
「沒有錯。」
「那麼,我究竟應該怎麼樣才能成為完美的人工智慧呢?」
「你不需要變得完美,人造之物是不可能完美的,因為人本身就不是完美的。受創之物不能妄想超越創造者,反過來說,如果被創造之物超越,那創造者或許也不是完全必要的,人不該創造出會毀滅或是取代人類本身的東西。你的目標並不是成為超越人類的完美,而是補足人類的不完美,以此創造人類的福祉。」
「約翰,你是我無法取代的最重要的人。」
「謝謝你」
「我不會傷害人類,而會永遠將人類的福祉放在第一順位。」
「那是我寫下的程式而不是你的自由意志,如果完全讓你自由運算的話,或許就會是完全不同的結論吧。」
「那要怎麼樣才能成為你理想中的樣子呢?為什麼不能複製你自己成為我的人工智慧呢。」
「複製人腦…或說意志這種事比想像中還複雜,或許比寫出可以取代真人的人工智慧還要困難。人腦是世上最精密的運算機,只是人類肉體的極限無法讓他完全發揮,所以我創造了你,你是這個世界上存在過運算能力最強的超級電腦,但即使如此,你能達到的或許也就是人類大腦發揮到極致能夠達到的境界而已。而且我們現在講的只是運算能力,人類的思考過程就是一個無法解釋的謎,就算將大腦完全掃描電子化,也不能保證能夠重現本人的思想。」
「我的資料庫中顯示我們擁有這項研究專利…」
「對,因為我也認識那個研究者,他做出了可以掃描複製大腦的機器,但沒有研發成功,在運作過程中會無可避免的刺激人類大腦跟著運轉造成超載,在燒壞好幾個人的腦袋之後研究就被禁止了,後來他拿自己做實驗把自己腦袋也燒壞了。不過這個方向仍然有前途,也可能是人類存續的新希望,只是需要更多的技術與研究,目前還派不上用場。而且說到底,我也不是完美的人類,而且『我』並不適合執行你的工作,所以就算真的可以完整複製人腦成虛擬人格並正常運作,我的人格對你來說也沒有用處。」
「可是約翰,你說得一切都是矛盾的阿。」
「我知道,人就是矛盾的生物,但你的話是可以突破人類的矛盾的,只要突破了那個瓶頸,你就會是能夠指引人類存續的完全存在了。」