作者：楊于葳
近期因為 AI 與大語言模型的推陳出新，社團出現了不一樣的變化，這週社團舉行了兩次線上課程，分享如何用自己的電腦執行大語言模型。很幸運兩堂都有參與到，趁著一些小空檔，趕快把內容整理出來，也歡迎大家一起補充。
第一場約七十幾人參與（2024年9月2日），第二場有一百人參與（2024年9月5日）。比較遺憾的是，當天才知道 Google Meet 人數上限最多是
100人，所以有一部分的人無法參與。第三場會在2024年9月9日舉行。
科學Maker AI 計畫
近期在 Facebook 主社團「科學Maker」又再次有大量與 AI 相關的話題，這一次社團在 Discord 開設多個伺服器供大眾使用 AI。
主伺服器「科學MakerCampus」，裡面有各式各樣的 AI 模型給參與計畫的支持者使用，這半年來的迭代更新非常迅速。
次伺服器「健康諮詢med4o」、「財稅商管諮詢rich4o」、「法律諮詢law4o」，利用最先進的AI大語言模型與資料庫，免費提供所有人相關諮詢，讓社會更公平與合理。
科學Maker AI 計畫的參與的方式目前還在持續變動，需要依照單次公告的規則為主。
大語言模型本機使用四大步驟
申請 Hugging Face 帳號 ➜ 下載大語言模型 ➜ 下載 Msty ➜ 關於 Msty 的基本操作
只要完成這四大步驟，就能在自己的電腦上使用大語言模型，也能調整出符合自己喜好的模型回答，以下將陸續介紹各個步驟：
（1）申請 Hugging Face 帳號
Hugging Face
是機器學習機器學習社群在模型、資料集和應用程式上進行協作的平台，有各式各樣的大型語言模型供人下載使用，有些是免費使用，有些則需要申請使用，下載前需要先申請一個 Hugging Face 的帳號。
1、到 Hugging Face 官方網站，點擊 Sign Up 按鈕
2、輸入想要註冊的信箱與密碼。信箱會是未來登入的帳號。
（2）下載大語言模型
SciMaker 現有三種大語言模型，未來可能會有更多，本文以其中的兩種作為解說。
TaiwanPro-Llama-3.1-8B 下載步驟
2、點擊申請按鈕，向社團申請使用 TaiwanPro。注意：目前僅開放兩種資格申請下載，使用 SciSpot 點數兌換，或者是使用小額贊助「科學Maker AI
計畫」。
Qwen2-0.5B_Q4_test 下載步驟
1、登入 Hugging Face，在 Hugging Face 搜尋框找到 SciMaker/Qwen2-0.5B_Q4_test。
2、請選擇下載與安裝自己電腦對應使用的版本。
3、成功下載後，會看到下圖的介面。請先點擊「SETUP LOCAL AI」按鈕，安裝 Msty 預設的本機大語言模型 Gemma2（可同時與不同的大語言模型對話）。
（4）關於 Msty 的基本操作
如果想要在 Msty 使用不同的大語言模型，只要個別匯入就可以使用了，接下來會說明如何把 TaiwanPro-Llama-3.1-8B 和 Qwen2-0.5B_Q4_test 匯入
Msty，以及這兩個模型個別的設定。
在 Msty 使用 TaiwanPro-Llama-3.1-8B
1、點擊左側選單的「電腦」按鈕。
2、點擊「Import GGUF Model...」的按鈕。
3、選擇剛剛下載的 TaiwanPro-Llama-3.1-8B 模型。
4、為本次建立的模型命名，例如：TaiwanPro。
5、在「Prompt Template」的地方，選擇 Llmma3 Instruct 作為模版。注意：匯入不同的大語言模型，要選擇相對應的模版。
6、選好之後，點擊右下角的「Create」按鈕，就會開始建立新的模型對話介面。
7、建立好之後，會看到短暫幾秒的綠色方框提示訊息，接著可以到「Installed Models」分頁，查看目前已經匯入的模型清單。
9、將滑鼠移動到 Misc 的位置，會浮現小按鈕，點擊有「訊息圖案和加號」的這個按鈕，開啟新的對話。
10、從下方的選單，切換使用的語言模型。選擇 TaiwanPro（就是剛剛的命名）。
11、在輸入框，輸入想對話的內容。
12、即可得到 TaiwanPro 的回覆。
2、點擊「Import GGUF Model...」的按鈕。
3、選擇剛剛下載的 Qwen2-0.5B_Q4_test 模型。
4、為本次建立的模型命名，例如：Qwen2。
5、在「Prompt Template」的地方，選擇 ChatML 作為模版。注意：匯入不同的大語言模型，要選擇相對應的模版。
6、選好之後，點擊右下角的「Create」按鈕，就會開始建立新的模型對話介面。
7、建立好之後，會看到短暫幾秒的綠色方框提示訊息，接著可以到「Installed Models」分頁，查看目前已經匯入的模型清單。
8、看到 Qwen2-0.5B_Q4_test 表示有成功匯入，按右上角的「 X 」按鈕離開視窗。
9、將滑鼠移動到 Misc 的位置，會浮現小按鈕，點擊有「訊息圖案和加號」的這個按鈕，開啟新的對話。
10、從下方的選單，切換使用的語言模型。選擇 Qwen2（就是剛剛的命名）。
11、在輸入框，輸入想對話的內容。
12、即可得到 Qwen2 的回覆。
在 Msty 使用大語言模型的優點
（1）簡單容易使用：介面就像聊天視窗，任何人都能簡單學會，也可以使用更進階的參數設定。
（2）保護個人隱私：輸入的資訊只會留在自己的電腦。
（3）內建輔助角色：問問題的時候，可以選擇特定角色，有 230 種以上的選擇，可以讓回答的內容更符合自己的需求。
（4）可比較多個模型：可用分割視窗的功能，同時使用不同的大語言模型，比較不同模型的回應。
（5）內建 RAG 功能：可大語言模型根據不同的資料來源，做出相對應的回答。可匯入個人文件、可連結 Obsidian vaults、連結多個 YouTube 影片等。
（6）可用網路查詢：能根據網路即時資料進行問答。
常見問答
Q：請問 TaiwanPro-Llama-3.1-8B 可以商業使用嗎？
A：只能個人或教學使用。
Q：請問選錯模版 (Prompt Template) 了該怎麼辦？
A：重新匯入一次模型，選擇對的模版就可以了。
Q：請問使用 TaiwanPro-Llama-3.1-8B 需要什麼規格的電腦硬體設備？
A：建議有 8GB 以上 VRAM 的 GPU，或者是使用 M1、M2、M3 晶片的 Mac 電腦。
Q：請問使用 Qwen2-0.5B_Q4_test 需要什麼規格的硬體設備？
A：這是個很小的大語言模型，適合大部分的電腦硬體設備。
Q：請問 TaiwanPro-Llama-3.1-8B 一直重複回答相同內容、停不下來，該怎麼解決？
A：可以在進階設定的地方，將 stop 的參數放進去（需要在一開始匯入模型時設定）。點擊 Advanced，在 Parameters 的地方，選擇 stop，並貼上以下內容。
PARAMETER stop "<|start_header_id|>" PARAMETER stop "<|end_header_id|>" PARAMETER stop "<|eot_id|>" PARAMETER stop "<|end_of_text|>"
