最近AI PC狂出，在算力上已經比以往增長不少，但是應用太少，導致這些算力好像看得到但用不到。本地運算大語言模型可以達到更好地輔助，去年到今年這些應用層出不窮且飛速提升。這幾個月，已經可用、有效率的本地部署方案。

Cline是個Visual Code的擴充應用，可以搭配API，透過達到Task爲目的，調用語言模型去完成任務。

Ollama是個本地部署語言模型的應用程式，讓使用者只用簡單的操作就能部署，而且也是語言模型庫，可以很輕鬆在上面找到各種語言模型下載使用。

個人最近買了一臺 Intel ultra 2 Sries的筆電，現階段不論Ollama跟Stable Diffusion都沒有辦法很好發揮此處理器算力，原生方案無法調用NPU、GPU去做計算。

要跑本地語言模型，記憶體基本32GB起跳，不然只能跑1b、3b等模型，會少了很多可以選擇。而且記憶體用盡也會造成電腦不穩定。

如果您也使用相同硬體，可以參考Intel的文件，我個人照做就能順利部署，經測試可以榨出所有GPU的算力。

部署Ollama與下載適用Cline的語言模型

Ollama安裝方式很簡單，網路上也有很多教學，基本上下載安裝包，安裝，然後用CMD執行Ollama。

下載適用Cline的語言模型，建議使用的語言模型容量大小請小於剩餘可用記憶體的一半。

個人建議使用以下兩種，第一種更適合32GB記憶體筆電，第二種以及其他用在桌機比較適合。

安裝Cline

在Visual Code，

安裝好後，可以從左側欄位找到Cline的ICON，點擊編輯，選擇OLLAMA與語言模型。

運作過程中，可以看到Ollama使用GPU做計算。

Cline是以任務型式的去做輔助撰寫，因此，提示詞需要明確指示要寫什麼，以及如果需要讓Cline引用的文件，可以用「@」去附上。

這裡讓Cline去寫一個比較簡單的函式：輸出1~100中的質數。

新增一個空.py，並且使用以下提示詞。

@/main.py 使用python語言，寫出一個能輸出1~100中質數的函式。

Cline會在右側修改，可以清楚看見差異處。※這功能很像ChatGPT Canva。

按下Save後，跳出使用Run Command，點擊後，正常輸出。把輸出結果回傳，確認沒有報錯，那此任務就完成了。

@/main.py 解釋目前的程式碼功能，並且使用繁體中文作爲函式的註解