CS 碩士申請大預測 - ChatGPT × 教 ChatGPT 擲筊
如果人工智慧也是一種神的話,那當然也要來預測一下吧
目錄
昨天發完我去各大廟擲筊結果的文之後,我又想到一個 idea:
竟然大家都把 ChatGPT 當神在拜,那我怎麼可以不把他納進我的實驗裡呢 xDDDD
所以今天我花了一個下午來研究要怎麼做到這件事,順便一下紀錄這個過程。
🔬 實驗設計 #
雖然 ChatGPT 就是一個對話機器人,所以理論上我可以很直接的問他:「XXX program,我會不會上」。但這會有兩個問題,第一個問題是,Open AI 有對模型進行限制,所以他會避免回答很明顯的預測未來的事情。再來是實驗的設計,在上一篇的實驗設計裡,雖然神可能是有一個意識的 (我們姑且先這麼假設啦),但是我們是透過擲筊這個媒介來讓神的旨意來傳達給我們,就算他可能有再多的想法或是但書,我們接受到的訊息就是只有「聖筊」或是「陰筊」,所以理論上我們應該也要公平的把這個限制施加在 ChatGPT 身上。
確認 ChatGPT 知道什麼是「擲筊」 #
好吧,顯然 ChatGPT 沒聽過什麼是「擲筊」。所以我就把維基百科的解釋先貼給他,教他這是怎麼運作的。(雖然如果是一個真人,只看這兩段描述大概也不知道這是在公三小xDDDDDD)
試個水溫 #
既然 ChatGPT 現在知道「擲筊」怎麼運作了,就可以開始問了。我儘量避免在我的問句裡暗示我是在問一個「預測」的問題,但顯然 ChatGPT 有真的理解到擲筊這件事情明顯就是在求一個指示,所以會拒絕回答。
我後來想到可以轉一個彎,改問他如果我去廟裡擲筊會擲出什麼。有點像是說我不問你這件事情本身,但問你猜其他人會怎麼想 (只是這個其他人是一個想像的人)。但可能對 ChatGPT 來說,預測別人的想法還是一種猜測吧。
讓我們再試一次 #
後來轉念一想,幹嘛這麼麻煩,不如簡單粗暴一點,直接叫他給我 3 種選項裡面其中一種就對了。 (有點像拋硬幣)
結果一試才發現,哎呦這個模型真的是挺狡猾的,他其實有 get 到「笑筊」的精髓欸,反正不想回答的時候就一直回這個答案就對了
好啊所以問到底他其實根本沒有在認真回答問題,只是拿「笑筊」來敷衍我啊:)
曙光乍現 #
反正我們在之前的實驗設計已經確定,「笑筊」不算是一個正式的答案,那還不如我就直接把這個選項抽掉。
簡單觀察一下,的確是開始有出現一些「聖筊」、「陰筊」交錯的結果,那就當作他有在認真回答啦
後來又多試了幾個問題之後,我發現他會回答連續很多次的「聖筊」或是「陰筊」,其實不太符合實際的情況,所以我又下了一條指令來修正。
那後續的實驗結果就是在這次修正之後產生的答案,中間沒有再修正過規則。
📊 實驗結果 #
ChatGPT | ||
---|---|---|
CMU | MCDS | ❌ ✅ ✅ |
CMU | MSCS | ❌ ❌ ✅ |
CMU | MSE-SS | ❌ ✅ ❌ |
Rice | MCS | ✅ ✅ ✅ |
Stanford | MCS | ❌ ✅ ✅ |
TAMU | MCS | ✅ ❌ ✅ |
UC Davis | MSCS | ❌ ✅ ✅ |
UC Irvine | MSWE | ✅ ✅ ✅ |
UC Santa Barbara | MSCS | ✅ ✅ ✅ |
UIUC | MCS | ✅ ✅ ✅ |
USC | MSCS | ✅ ❌ ✅ |
USC | MSCS-AI | ❌ ✅ ✅ |
UVA | MCS | ✅ ❌ ❌ |
那就一樣等到時候開獎再一起回顧囉
如果有人有興趣的話,我有保留了完整的對話截圖