快轉到主要內容

CS 碩士申請大預測 - ChatGPT × 教 ChatGPT 擲筊

如果人工智慧也是一種神的話,那當然也要來預測一下吧

昨天發完我去各大廟擲筊結果的文之後,我又想到一個 idea:

竟然大家都把 ChatGPT 當神在拜,那我怎麼可以不把他納進我的實驗裡呢 xDDDD

所以今天我花了一個下午來研究要怎麼做到這件事,順便一下紀錄這個過程。

🔬 實驗設計 #

雖然 ChatGPT 就是一個對話機器人,所以理論上我可以很直接的問他:「XXX program,我會不會上」。但這會有兩個問題,第一個問題是,Open AI 有對模型進行限制,所以他會避免回答很明顯的預測未來的事情。再來是實驗的設計,在上一篇的實驗設計裡,雖然神可能是有一個意識的 (我們姑且先這麼假設啦),但是我們是透過擲筊這個媒介來讓神的旨意來傳達給我們,就算他可能有再多的想法或是但書,我們接受到的訊息就是只有「聖筊」或是「陰筊」,所以理論上我們應該也要公平的把這個限制施加在 ChatGPT 身上。

確認 ChatGPT 知道什麼是「擲筊」 #

ChatGPT 不會擲筊

好吧,顯然 ChatGPT 沒聽過什麼是「擲筊」。所以我就把維基百科的解釋先貼給他,教他這是怎麼運作的。(雖然如果是一個真人,只看這兩段描述大概也不知道這是在公三小xDDDDDD)

試個水溫 #

ChatGPT 拒絕回答

既然 ChatGPT 現在知道「擲筊」怎麼運作了,就可以開始問了。我儘量避免在我的問句裡暗示我是在問一個「預測」的問題,但顯然 ChatGPT 有真的理解到擲筊這件事情明顯就是在求一個指示,所以會拒絕回答。

我後來想到可以轉一個彎,改問他如果我去廟裡擲筊會擲出什麼。有點像是說我不問你這件事情本身,但問你猜其他人會怎麼想 (只是這個其他人是一個想像的人)。但可能對 ChatGPT 來說,預測別人的想法還是一種猜測吧。

讓我們再試一次 #

ChatGPT 只會回笑筊

後來轉念一想,幹嘛這麼麻煩,不如簡單粗暴一點,直接叫他給我 3 種選項裡面其中一種就對了。 (有點像拋硬幣)

結果一試才發現,哎呦這個模型真的是挺狡猾的,他其實有 get 到「笑筊」的精髓欸,反正不想回答的時候就一直回這個答案就對了

ChatGPT 承認自己沒有真的在回答

好啊所以問到底他其實根本沒有在認真回答問題,只是拿「笑筊」來敷衍我啊:)

曙光乍現 #

ChatGPT 終於肯好好回答啦

反正我們在之前的實驗設計已經確定,「笑筊」不算是一個正式的答案,那還不如我就直接把這個選項抽掉。

簡單觀察一下,的確是開始有出現一些「聖筊」、「陰筊」交錯的結果,那就當作他有在認真回答啦

小幅修正一下規則

後來又多試了幾個問題之後,我發現他會回答連續很多次的「聖筊」或是「陰筊」,其實不太符合實際的情況,所以我又下了一條指令來修正。

那後續的實驗結果就是在這次修正之後產生的答案,中間沒有再修正過規則。

📊 實驗結果 #

ChatGPT
CMUMCDS❌ ✅ ✅
CMUMSCS❌ ❌ ✅
CMUMSE-SS❌ ✅ ❌
RiceMCS✅ ✅ ✅
StanfordMCS❌ ✅ ✅
TAMUMCS✅ ❌ ✅
UC DavisMSCS❌ ✅ ✅
UC IrvineMSWE✅ ✅ ✅
UC Santa BarbaraMSCS✅ ✅ ✅
UIUCMCS✅ ✅ ✅
USCMSCS✅ ❌ ✅
USCMSCS-AI❌ ✅ ✅
UVAMCS✅ ❌ ❌
跟前面一樣, ✅ 代表「聖筊」; ❌ 代表「陰筊」

那就一樣等到時候開獎再一起回顧囉

如果有人有興趣的話,我有保留了完整的對話截圖