AIの歩き方

ルミィと試す、ローカルAI・AIツール・データ分析の実践ガイド

TAG

KVキャッシュ

ルミィがOllamaの長文処理を軽くするq8_0・q4_0のVRAM実測を案内するアイキャッチ

OllamaのKVキャッシュをq8_0・q4_0へ量子化｜12GB GPUでVRAMを実測

記事URLをコピーしました