Meta Llama 2
開源商用的 Meta Llama 2 (70B / 13B / 7B) 全系列模型
適用情境
在推理、編碼能力和知識測試等方面的基準測試中優於其他開源大語言模型
70B : 優異的結構化資料、表格、Markdown 理解與推理能力，資料表關聯與 SQL、JSON 能力，及 13B、7B 的各類適用情境
13B : 適合 Markdown 意圖分析 + JSON 格式輸出，及 7B 的各類適用情境
7B : 可用於行銷標語與內容生成、邀請函及郵件撰寫、中英翻譯、文章摘要、去識別化、聊天機器人問答
參數調整
Standard
全量參數微調 (Full parameter fine-tuning)，使用特定任務資料集對預訓練模型的所有參數進行微調，需要大量的 GPU 運算與儲存資源。
PEFT
参数高效微调(Parameter-Efficient Fine-Tuning)，固定大部分預訓練參數，僅微調少量額外的模型參數，降低了運算和儲存成本，同時趨近與全量參數微調的效果 (可適用的方法為LoRA)。
LoRA : (Low-Rank Adaptation of Large Language Models)，固定原本預訓練完成的模型參數權重，額外新增網絡層模組通路，透過高維度轉低維度的分解矩陣模組，僅對網絡層模組的參數進行更新，來模擬Full parameter fine-tuning的過程，大幅減少了所需訓練的參數量，降低了運算和儲存資源，以較少的參數量來實現大模型的間接訓練，且趨近於模型全面微調之效果。