ETHShanghai 2023 峰會中，Skype 聯合創始人Jaan Tallinn 與Web3 Social Club Podcast 主播Afra Wang 討論了人工智能的潛在危險，包括現實崩潰的風險，以及在人工智能研究中的謹慎和合作的必要性，同時他們還聊到美國和中國在人工智能領域的競爭以及全球合作的重要性。
以下正文為Jaan 和Afra 討論內容的中文編譯版本，鏈接為現場視頻：
Afra：您在減少先進人工智能風險的研究機構上投入了大量的資金。是什麼激發您關注這些滅絕風險？是有具體的事件或時刻引起了您的關注嗎？
Jaan Tallinn:大約在2008年，我在使用Skype的過程中發現了Eliezer Yudkowsky關於人工智能潛在危險的著作。 Yudkowsky在這個領域已經寫作了十多年，我很快被他的作品的數量所壓倒。 2009年3月，在加利福尼亞為Skype的業務而訪問期間，我與Yudkowsky見面了四個小時，意識到人工智能安全是一個重要但被低估的話題。這次經歷讓我將離開Skype後的職業生涯專注於人工智能安全。
Afra:所以那是在2009年，也就是十四年前的事了。當時，人工智能風險仍只是一種遙不可及的東西。我想當時可能並沒有人理解你們具體在談論些什麼。
Jaan Tallinn:有趣的是，有些人偶爾質疑我們的方向，想知道我們要走向何方。科幻作品，如《終結者》系列電影，在討論這個話題時曾經經常被提及。然而，計算機領域的先驅者，如Alan Turing、Norbert Wiener和IJ Good，都曾經表示，隨著機器變得越來越聰明，使機器變得更聰明不再需要人類智能。當機器在進一步發展上優於人類時，可能會發生智能爆炸，接下來發生的事情將不再由人類決定。這些都是理論上的論證，但真正的分水嶺是去年發布的ChatGPT。地球上很大一部分人都在疑惑，“到底發生了什麼？”
Afra:是的，完全正確。我認為吸引了每個人的注意力的一件事是三個月前，未來生命研究所（Future of Life Institute）發表了一封題為“暫停巨型人工智能實驗”的公開信。這封信被認為是全球最具影響力的警告，引起了廣泛的全球關注，不僅來自普通人，還包括埃隆·馬斯克等有影響力的人物，他們都簽署了這封信。我也簽署了這封信，多次轉發，並將其發送給我的朋友，以提高人們的意識。
這封信指出，人工智能實驗室目前正處於一個失控的競賽中，他們正在開發和部署機器學習系統，連他們自己都無法理解、預測或可靠控制。這封信引起了關注並引發了關於X風險的討論已經超過三個月。
您認為這封信是否作為人類的火警，引發了必要的暫停和對我們使用和開發人工智能的反思？換句話說，您認為這封信在發起時實現了其目標嗎？
Jaan Tallinn:是的，我認為現在說是否會讓每個人都暫停還為時過早。然而，這封信的一個元目標是要證明這些人甚至無法暫停六個月，競爭現在已經如此糟糕，需要政府乾預。它的成就遠遠超出了我們的預期。由於信的產生引發了許多相關的討論，很難確定確切的因果關係。有人可能會爭辯說喚醒地球的真正事情是ChatGPT和其他一切，不管是一封信還是另一封信。如果我沒有寫這封信，其他人會寫的。
一個合理的模型是ChatGPT引發了正在發生的一切，而FLI信使其成為主流，引起了西方政府的關注（我不知道它在中國有多大影響）。此外，FLI信的一個明顯的下游作用是西方主要人工智能實驗室負責人簽署的CAIS人工智能安全宣言。我認為這是一個非常重大的成就，我至少能夠得到部分功勞。
Afra:在發布這封信後，您收到的最有趣的評論是什麼？
Jaan Tallinn:這很難說，因為有一系列媒體的興趣、評論和討論。
Afra:我完全可以理解人們對這封信的反應。您所說的“暫停研究”是什麼意思？我們會輸掉競賽嗎？
Jaan Tallinn:是的。有關“關於人工智能研究的開放信”（Open Letter on AI Research）的一個常見誤解是，人們認為它要求總體上暫停人工智能研究。實際上，它側重於目前主要在美國的大多數自由實驗室中進行的前沿模型的訓練，據我所知。這封信涉及當前的範式，不幸的是，這使整個人工智能領域從簡單、透明、可讀系統過渡到了大型、晦澀難懂的黑匣子系統。該領域已經從專家系統轉變為了監督學習，其中智能由人工添加，然後轉變為無監督學習，我們真正使用了數以萬計的圖形卡在一個巨大的數據中心中，但卻將它們長時間地無人值守。
Afra:對，上週我參加了由互聯網檔案館（The Internet Archive）組織的Dweb Camp活動，該活動在紅杉樹林中的納瓦羅營地舉行，距舊金山以北兩個小時車程，位於舊金山灣區。
在活動期間，我有機會見到互聯網標準創始人Tim Berners-Lee以及人道技術中心創始人Aza Raskin。 Aza在他的演講中談到了“人工智能困境”，這個概念自從我在YouTube上第一次看到他的演講以來，我就一直思考著。
Aza警告我們，在社交媒體平台上的日常互動，如Twitter、TikTok和微博，以及我們使用的其他平台，如小紅書（Pinterest的中國版），標誌著人類與人工智能的首次接觸。這種接觸帶來了許多負面後果，包括信息超載、上癮、宣傳、虛假新聞，甚至可能破壞民主。
這讓我思考到“二次接觸”的概念，它涉及我們與大型語言模型、生成式人工智能以及各種可能導致現實崩潰的生成內容的接觸。從這個意義上說，人類可能注定要屈服於“二次接觸”，現實崩潰將不可避免地到來？我們將無法區分真假，無法區分人類生成的內容和人工智能生成的內容。
Jaan Tallinn:是的，我認為人道技術中心的Tristan在解釋這個問題方面是一個很好的角色。他們非常擅長向人們傳達這個問題。然而，我對這個問題有一個相當不同的觀點。我們談論的是一種前所未有的情況，可能會發生，也可能不會發生。它可能會在本世紀晚些時候發生，也可能會在今年晚些時候發生。我們不知道下一代人工智能有多強大。
每當談論前所未有的情況時，你必須使用隱喻和引用從句來解釋它們。 Aza的表述，因為他們在社交網絡方面做了很多工作，使用社交網絡人工智能作為先例來說明可能發生的情況。在我看來，這低估了危險。一個更適當和更強大的先例是智人的創造和我們這個物種。重要的是要注意，智人是如此聰明，以至於其他人屬無法在其引入後存活下來。與其將危險描繪成一種社交媒體上人工智能加強版的體驗，我認為我們應該退一步，看看其他物種在智人引入後發生了什麼，以及我們如何確保同樣的事情不會發生在我們身上。
Afra:是的，我完全同意。尤瓦爾·赫拉利（Yuval Noah Harari）經典的一句話是，人工智能對我們的現實世界的威脅就像核彈對物理世界的威脅一樣。人工智能對我們整個物種——智人——的威脅是扭曲我們對智能的理解。
接下來，我想談談中國的問題。我有一個問題要問我們的中國聽眾。房間裡的大像是美國和中國之間的激烈競爭。最近，來自a16z的馬克·安德森（Marc Andreessen）發表了一篇文章稱人工智能是我們最好的朋友。然而，他也承認人工智能的最大風險是如果中國在全球人工智能的主導地位上取得勝利，而美國和西方沒有。
這顯然是一種二元的和競爭的立場。此外，我注意到在所有的演講中，包括您和Aza的演講，都提到了涉及中國的兩個不同的情景。
我的問題是，作為西方更廣泛和有影響力的群體的代表，您對這種競爭持何種觀點？您如何看待中國在人工智能對齊全球研究方面的貢獻？我們如何促進中國的人工智能研究委員會與全球生態系統之間更和諧的合作與協同？今天，我們的討論題目是“心智的交融：AI研究的協同”。
Jaan Tallinn:是的，我的意思是，我在這個領域沒有經過深思熟慮的想法。那些只關注全球競爭並將人工智能放入這個背景中的人犯了一個巨大的錯誤。他們沒有足夠尊重人工智能，並假設它容易控制，就像電一樣。雖然可能會發生一些事故，我們可以從中吸取經驗並獲得更多的能力。
但這種方法就像假裝風險不存在一樣。這就像黑猩猩們討論如何加速人類文明，以打敗森林中的另一個部落。決定接下來會發生什麼的將是人類，而不是黑猩猩。
重要的是要認識到，當前的人工智能範式是不可控的。控制人工智能的唯一方法是將其關閉，但它還不夠聰明來採取反對措施。正如Max Tegmark所說，全球人工智能競賽的唯一贏家是人工智能，而不是人類。我們不應該假設人工智能容易控制。
Afra:上週，當我與Aza見面時，他提到他計劃前往中國在不同的城市就人工智能風險發表演講。我認為這非常重要，因為我沒有看到在中國有很多關於人工智能風險的討論。我主要看到的是關於如何趕上西方迅速發展的大型語言模型的競爭性學術討論。對於人類如何團結起來應對這個潛在威脅，沒有足夠嚴肅的討論。
Jaan Tallinn:是的，另外一個方面，我認為在中國，社會更加註重控制，而不是確保事情按照可預測的方式發展。據我所了解，在中國使用“必應”進行搜索可能非常危險，因為這涉及到釋放公司無法控制的人工智能。我認為對此要保持謹慎是負責任的，相比較美國沒有那麼嚴格控制，但在中國這種行為是不被准許的。
Afra:我認為您在中國的聲譽或形象更多地被認為是Skype的聯合創始人。而且，我不知道您是否經常被問到這個問題，但您確實對技術溝通和連接人們的能力有深刻的理解。
然而，隨著大型語言模型的出現，您如何看待這將改變人們的即時甚至視頻溝通方式？
Jaan Tallinn:噢，是的。我的意思是，這份文件不會包含關於當前一代人工智能或人工智能更廣泛意義上不太智能的問題。它對最大戰略情況沒有意識，但思考當前一代的應用和風險是有價值的。很多人正在做這方面的工作，這是好事。
在涉及音頻和視頻內容以及虛假內容時，考慮到信任問題越來越重要。在這方面，區塊鏈可以提供一些專業知識，或者用於在這個後真相社會中構建防範措施。在一個研討會上提到，我們正在進入後真相的世界，沒有人知道什麼是真實的，也沒有爭議關於某個人擁有多少比特幣。然而，有關事實的全球共識被編碼在區塊鏈中，這是非常難以偽造的。因此，我們可以利用這種新的能力來確保我們有驗證的信息來源和內容。
Afra:是的，我一直在閱讀關於使用區塊鏈技術驗證您是人類身份的“人類證明”概念。 Sam Altman投資了一個名為Worldcoin的區塊鏈項目，它使用一個稱為orb的硬件設備掃描您的生物特徵，如虹膜。它通過驗證您獨特的人類虹膜模式來確認您在生物學上是智人。然後，它將您的信息編碼到他們的信息系統中，並可能在將來為您提供普遍基本收入。你有什麼想向關注的中國觀眾談一些關於人工智能風險的事情嗎？
Jaan Tallinn:讓我強調一下我已經提到的兩個主要觀點。第一個是不能低估人工智能的潛在威力是至關重要的。我們不能將其視為人類一直能夠控制的東西。我們對其控制能力從這裡延伸到無限。第二個觀點是當前人工智能範式是不可控制的。我稱之為“召喚和馴服”的範式。基於Transformer的理想化代碼只有大約200行，一種簡單的配方，分佈在數以萬計的顯卡上，然後放置數月時間。它創造的思維空間並不是一種可控制的技術產生方式。我們正在餵養牠，而不是去構建。
Afra:我想藉此機會宣傳一下《AI困境》的演講，這是一個很好的教育資源。人性科技中心在解釋複雜的轉型模型方面做得非常出色，使我們許多人都能理解。 Transformer技術始於2017年，將各種模型都視為語言，我們現在正在看到這種邊際增量進展在這個領域的累積效應。這就是為什麼我們感到研究發展非常快的原因，這要歸功於Transformer根本改變了人工智能研究的格局。我強烈建議大家觀看《AI困境》的演講。
Jaan Tallinn:我認為區塊鏈社區與人工智能安全社區之間存在有趣的接觸點。實際上，在2017年，我們與以太坊社區的人組織了一次在牛津的研討會，包括Vitalik Buterin在內的其他人。
加密貨幣社區一直是人工智能安全的強大支持者，為該領域做出了一些最大的資金貢獻。此外，加密貨幣社區掌握了兩個常人不知的知識。一個是他們對代理和相關的控制問題的熟悉。 Vitalik寫過一篇關於區塊鍊和加密貨幣人士開發智能合約，控制人類的對稱性的文章。與此同時，人工智能安全社區希望控制比人類更聰明但比人工智能更蠢的系統。這是一個有趣的對稱性。區塊鏈社區了解對抗性壓力。
另一個領域是全球基礎設施，包括數字基礎設施。我們的數字安全性弱於我們的物理安全性，而人工智能目前正在使用不安全的硬件和消費者版Linux操作系統變體進行訓練。他們對數據中心、操作系統和編程有了解。對於加密貨幣社區的人們來說，重要的是停下來思考，是否有其他可以為人工智能安全做出貢獻的事情。
Afra:確實。我曾與Zuzalu的一些區塊鏈專家進行過交談，他們提出了一個反烏托邦的場景。如果在區塊鏈上存在一個邪惡的人工智能代理，他們極有可能利用其金融屬性來操縱人們的動機並奴役他們，這個AI可以使用區塊鏈代幣來激勵人們做壞事。我們可能不會被納米機器人攻擊，而是被一種生活在區塊鏈上的人工智能所奴役。
Jaan Tallinn:正是這樣，我想到目前正在聽的一檔由Carl Shulman主持的精彩播客，他在其中與Turkish Patel進行對話。他們討論了一個觀點，即為了人工智能接管地球和宇宙的計劃，它將需要大量的基礎設施。問題是，這些基礎設施是否將由人工智能自己以納米技術帝國或類似形式開發，還是它將以某種方式破壞人類基礎設施能力，最初是不知情的，然後激勵人類開發它接管所需的基礎設施。
他們的論點是，不明確為什麼人工智能會想要利用人類的能力，但它可能會這樣做，因為它可以操縱或激勵人類開發它所需要的東西。人工智能盡快開發自己的技術的原因是，雖然人類很重要，但我們很慢。人工智能可能比人類快上百萬甚至十億倍，所以等待人類基礎設施完成就像等待樹木甚至山脈侵蝕。如果人工智能想要在運行速度比人類快上百萬倍的情況下開發自己的技術，它可能不會依賴於人類。現在還不清楚它將走哪條路，但需要考慮的一點是：如何使我們的基礎設施被人工智能的操縱的可能性變得更小。
Afra:這次討論與我們在Zuzalu時談到的內容是一致的，將我們帶回了現實，而不僅僅是科幻小說。很榮幸與您交流。謝謝。
