企業導入大型語言模型（LLM）之應注意事項探討

NIST AI 100-1對AI系統生命週期^（註1）的描述提到，生命週期各階段都需要進行測試、評估、驗證與確認（Test, Evaluation, Verification and Validation，TEVV），並且需透過第三方（非參與模型導入的人員）執行，以對模型做到完整客觀的評估，以及偵測和修復問題。舉例來 說，當模型已經完成導入並進入最後正式上線階段，可以委由第三方 協助檢視模型在規劃與設計或是資料準備等過程所留存的資料與相關 紀錄是否存在須調整之處，或是透過對模型進行語言能力測試等驗證 方法找到模型可能存在的風險。TEVV 是確保AI系統有效、可靠且值 得信賴的重要過程，透過在AI生命週期的各個階段進行 TEVV，可以 辨識並抵減風險，最終促成負責任的 AI 發展和使用。

下方將參考本國AI指引拆分的四個階段，包含模型規劃與設計階段、 資料蒐集及輸入階段、模型建立及驗證階段與模型部署及監控階段^（註2），對標NIST提及之AI系統生命週期，探討企業在導入LLM的應 注意事項，以及對應的TEVV流程：

模型規劃與設計階段 （NIST：規劃與設計階段）

過往企業在導入機器學習模型時，用途多為預測未來資料走向而提出模型建置需求，因此導入機器學習模型的使用目標相對明確；然而在導入LLM初期，企業普遍會為了追求LLM的便利性而未顧及模型導入的主要目標與可能潛在的風險；因此，我們評估企業應在導入LLM時考量包括但不限於以下幾個問題：

1. 導入的目標是為了解決企業在什麼議題上的痛點？
2. 企業的哪一個部門或是對象能受益？
3. 導入後能夠為企業帶來什麼具體效益（如：降低產品開發成本或時間成本等）？

因LLM應用多屬於文字生成而非資料預測，應用的議題相對廣泛；另外，相較於機器學習模型，LLM的不同之處在於其文字生成的能力仰賴於其機率性，因此可能產生的疑慮包括但不限於資安風險、技術風險或是法律風險等構面的問題。舉例來說，模型幻覺^（註3）（Hallucination）可能產生錯誤資訊進而誤導使用者認知。所以在模型設計階段，會需要在模型導入前透過TEVV評估其中可能潛在的影響、進行審核與影響評估（Audit & Impact assessment），並記錄相關評估結果^（註4）。為此，企業對於LLM在導入上的效益仍需要留意相關隱含成本。

綜合上述，我們統整以下不同構面之資訊以協助企業探討LLM導入的注意事項：

1. 業務情境分析

企業在面對經營管理、風險管理或是投資決策等情境時，應深入分析面臨的具體挑戰與需求，透過痛點分析找出現有流程中需改進的痛點，釐清其中可能的瓶頸並找到改善空間以確立導入LLM應用的目標。舉例來說，流程中存在人力操作效率低、文檔撰寫耗時過長等痛點，考量透過導入LLM取代文檔撰寫與報告生成的人工作業流程，增加人員工作效率以降低時間成本。

2. 需求範疇與應用目標設定

企業因各部門的業務職掌不同，應根據不同部門與業務場景劃分需求範疇，再針對需求設立具體可量化目標以利後續追蹤。舉例來說，藉由LLM取代報告生成、內部知識庫管理、風險預警及決策輔助等功能，相較於導入前的人員作業時間，目前人員作業時間（包含內部溝通、報告生成等流程）已縮短50%。

3. 成本效益分析

LLM隱含的風險包含道德風險、資料風險或是法律風險等，所以在進行LLM維護時，需要透過不同領域的專家檢視其讀入或輸出的資料是否存在疑慮，因此維護成本上會是企業需要考量的要點之一；此外，AI領域的專業人才目前仍相對有限，企業應評估內部現有技術團隊的能力，並考慮是否需要外部合作或培訓現有人員；對整體效益面而言，應從短期與長期兩個層面預測成本效益，舉例來說，短期而言，成本面可能包括技術導入成本、人力成本投入等；然效益面來看，藉由導入模型可以預期將帶來縮短報告生成時間、降低錯誤率、提升決策準確性等成效；長期而言，成本面雖然可能面臨模型持續使用而導致資料飄移^（註5）（Data Drift）或是性能退化，因而使得自動化產出流程出現謬誤或是準確率降低，進而導致模型維護成本上升，但是導入LLM能持續提升企業的競爭優勢，同時推動企業完成數位轉型並持續降低人力成本，提升人力資本的使用效率及效益。

4. 市場競爭環境分析

針對市場需求，確定企業通過LLM技術能否形成競爭優勢，並調整市場定位與產品策略，以避免技術導入後與市場需求脫節。在市場競爭中，企業也可以考慮與技術供應商、專業機構及行業協會合作，共同研發和推廣LLM解決方案，從而降低獨自投入的風險與成本。

資料蒐集及輸入階段（NIST：資料準備階段）

資料是企業在進行決策和風險管理的核心資產，而有效且可靠的LLM應用離不開高品質的資料準備。企業在導入LLM前後，需經過全面、嚴謹的資料準備流程及對應的檢核流程，這不僅涉及資料來源的廣泛整合，也包括但不限於資料清洗、標記、法令遵循測試、以及持續的資料更新機制，資料皆須進行記錄與留存：

1. 資料來源與多元整合

企業的資料來源廣泛，包括內部交易紀錄、客戶行為數據、市場報告、監管公告以及來自公開資料庫資料等。企業需要將這些多元來源根據LLM的導入需求，進行使用性分類和資料整合，並建構在LLM應用上具有可回溯性的資料庫中。這個資料庫應涵蓋多個層面，舉例來說，包含歷史交易數據、風險指標、經濟數據與外部市場動態等不同構面，從而保證數據的全面性和多樣性。只有數據覆蓋面廣、來源多元，才能在模型訓練中反映出市場的真實情況和多變環境，進一步提高LLM的決策準確度與應用價值。

2. 資料清洗與標記

企業需對資料進行清洗處理，排除不確定性資料和異常資料，並統一資料格式。主要原因在於原始資料中可能存在錯誤、重複以及不一致的紀錄，這些都可能導致LLM模型出現偏差或產生不準確的結果。透過資料清洗，可以過濾掉多餘資訊或是不確定性資料，保留對業務決策有價值的重要資料。另外，對資料進行標記的過程中，需根據企業業務特點，對資料進行分類、標記和標準化處理，確保資料的含義清晰明確，便於後續模型的理解和處理。

3. 法令遵循與隱私保護

法令遵循與隱私保護是資料準備過程中不可忽視的一環。企業資料通常包含大量敏感資訊，例如客戶個人資料、交易紀錄以及公司內部財務資訊，這些資料在處理過程中需遵守個人資料保護法等相關法令規定。舉例來說，企業需要在資料蒐集、儲存和處理過程中引入資料匿名化技術，對個人識別資訊進行去識別化處理，從而在保證資料可用性的同時，有效防止敏感資料外流。此外，企業應設立明確的資料存取權限和安全審計機制，確保只有授權人員能夠訪問關鍵資料，並對所有操作進行監控和記錄，以便在發生資料安全事件時能夠迅速追蹤、回應和修復。

4. 資料更新機制

最新市場資訊、監管公告以及經濟數據都是企業進行風險管理和決策的重要依據。倘LLM的應用環境與市場變化的連動性較高，則企業應建立定期更新資料庫的機制，確保資料庫中的資料始終保持最新狀態。這可能包括但不限於自動化的資料抓取與系統整合，即時從各大公開資料源獲取最新信息，並利用自動化工具對新資料進行清洗和標記，從而保證模型在訓練和運行過程中，能夠反映最新市場動態和趨勢。

TEVV在本階段將針對上述提及之資料相關機制驗證其執行結果之正確性，舉例來說，資料內容是否符合內部運作程序或是法律規範，都會需要進一步檢視，這能確保模型在實際應用中既能達到預期效果，又能維持長期穩定運作^（註6）。

模型建立及驗證階段（NIST：模型建置、模型驗證階段）

模型建置最主要會與資料品質和內容息息相關，因此在資料準備階段就需要透過反覆的資料檢視、準備，以利訓練出的模型可以更精確符合企業所需要的業務情境。而模型選用與模型訓練，最主要還是要考量到模型的有效性、可靠性等，須確保模型的使用符合目標且具有可信度。

模型驗證階段，不論是在模型建置當下由參與建置的人員進行，或是委由第三方透過TEVV進行模型測試（Model Testing），建立一套驗證流程至關重要，以下列舉安永建議的LLM模型驗證方法，作為模型驗證階段應注意事項之參考：

1. 知識與回答能力驗證

透過歷史案例、業務問答及情境模擬等方式，測試模型在一般問答場景中的表現。例如，評估模型回答日常問題、基礎數學運算、文學常識或邏輯推理等面向的準確性。此項驗證主要檢查模型是否能正確理解常識性與通用知識，並根據上下文提供符合需求的回覆，確保其在日常應用場景中的實用性。

2. 對齊評估與倫理安全測試

為避免模型在處理敏感議題時出現偏頗或不當回答，必須對其進行對齊性與倫理安全的評估。這包括檢查模型是否遵循企業價值觀、符合倫理標準，以及在面對具有爭議性的內容時，能否保持中立並防止誤導。

3. 安全性與隱私保護驗證

有鑑於企業資料的高度敏感性，模型在處理客戶資料與內部資料時，必須通過安全性與隱私保護的驗證。這項驗證涵蓋資料加密、存取控制、資料匿名化等措施，確保整個運行流程符合法規要求，防範潛在資料洩露風險。

4. 專業領域評估

模型在專業領域的應用表現需要透過比較嚴謹的測試，舉例來說，透過專家問答（Q&A）方式，針對風險管理或是投資等專業領域的回答準確度進行評估；或是透過整理企業內部專業機敏資訊所彙整成之Q&A判斷模型表現，並對輸出結果提出可修正或是待確認處。

5. 工具學習與整合能力評估

檢查模型與其他系統、資料庫或輔助工具的整合能力，確保其在跨系統資料調用與協同作業時具備良好表現。

6. 模型解釋性與穩定性驗證

分析模型內部決策過程的解釋性，確保其生成結果可以被使用者理解與追溯；同時，檢查模型在面對不同輸入條件時是否保持穩定性，避免因資料波動或環境變化導致結果不一致。

7. 效能與回饋測試

除了上述項目，企業應對模型在實際應用中的運算速度、資源消耗及反應時間等進行測試；並建立回饋機制，根據用戶使用情況及市場反應，持續調整與優化模型參數，確保效能與穩定性達到最佳狀態。

模型驗證階段與TEVV最主要差別在於參與的人員需互相獨立，舉例來說，參與模型建置的人員需將模型驗證過程中使用的資料、方法論及結果進行記錄；而TEVV則是委由第三方檢視相關模型驗證紀錄，或是使用其他方法對模型進行驗證。

模型部署及監控階段（NIST：模型部署、操作與監控階段）

在此階段下，模型將會與使用者進行接觸，對於使用者的輸入及模型的輸出皆需要透過適當紀錄進行保存；主要原因在於，當模型產生問題時，可透過此機制加速發現產生問題的原因，以確保模型的問責機制足夠且可被信任。

以下列舉安永建議的監控方法，作為應注意事項之參考：

1. 即時監控平臺構建

企業可以利用資源監控工具，搭建即時的「模型運行監控平臺」，持續追蹤模型的運作狀態，包括處理速度、錯誤率、資源利用率、使用者數量等關鍵指標，及早發現並排除異常情況。

2. 定期運行報告與人工檢視

除了自動化監控外，也應定期生成運行報告，通過人工巡檢與定期回顧，更全面地評估模型在不同時段、不同業務場景下的表現，並根據報告結果進行必要調整。

3. 用戶回饋與持續優化機制

建立用戶回饋管道和內部評估機制，定期蒐集實際運行中的問題和改進建議，並納入模型優化計畫中，這種持續改進的方式有助於隨時因應市場變化和技術更新，確保模型長期保持高效運作。

在此階段下，TEVV將進行一致性、法令遵循測試和驗證（Integration, Compliance Testing & Validation），追蹤模型過往可能產生錯誤的事件，並針對後續處理進行檢視；並且定期評估模型的有效性與可靠性，舉例來說，模型產生對企業不當之描述，則需對模型使用資料進行索引或是透過反覆問答，找到可能存在不利描述的文件或是模型幻覺並進行調整。

此外，企業可能對於其模型表現不足之處，增加包括但不限於以下功能進行模型的索引能力加強：

1. 檢索增強生成（Retrieval Augmented Generation， RAG）

RAG架構結合檢索與生成能力，可在模型回答過程中動態調用內部及外部資料庫資訊，提升回覆的時效性與精確度。舉例來說，在市場風險預警應用中，系統可自動檢索最新的新聞與財報數據，再由模型生成具參考價值的分析報告，從而有效輔助決策。

2. 流程架構整合

此類架構能協助企業將LLM與外部工具或自動化系統進行整合，實現多階段、結構化的工作流程，進而構建全自動化且模組化的營運環境。這樣不僅能提升運作效率，也能降低系統開發與長期維護的技術門檻與成本。舉例來說：

1）AutoGen：自動生成應用流程、測試腳本、生成報告與分析摘要，縮短開發週期，減少人力撰寫的負擔；

2）LangChain：將多個模型與工具串接起來，構建端到端的資料處理與決策流程，實現從資料擷取到策略生成的全流程自動化；

3）ReAct：透過推理與行動的結合，融入人機互動的即時回饋，增強模型在複雜決策與風險評估場景中的適應性與準確性，並能動態調整回應策略。

在此階段下，TEVV將會需要追蹤此類額外增加之功能進行檢視，舉例來說，當企業使用了RAG或是其他增強索引之功能，則需要進一步檢視其使用文件、模型輸出與功能方法論合理性，以確保模型完整性。