ローカルLLMの賢さは実装環境で変わる——量子化・GPU・推論ソフトの差を実験で検証、Claude Code v2.1.241 と Codex 同日2リリースほか5件
今日の3行
- ローカルLLMが「頭悪い」と感じるのはモデルではなく実装環境の差が原因です。同じ重みでも量子化・GPU・推論ソフトで品質が大きく変わることを、Level1Techs が実験で検証しました。Ollama 等で運用中のエンジニアは、モデルを疑う前に環境側で差をつけられます。
- Claude Code v2.1.241 がリリースされました。バグ修正と信頼性改善のみの小規模更新で、破壊的変更を含まないため、放置していた場合は更新して問題ありません。
- OpenAI Codex が同日に 2 リリースを公開しました。0.149.0-alpha.7.2 のパッチと 0.150.0-alpha.7 で、alpha 版のため更新内容の確認と動作検証が推奨されます。
深掘り: ローカルLLMが「頭悪い」と感じるのは実装環境のせい——Attentionバックエンドの違いだけで出力が変わる
要点 Level1Techs が、ローカルLLMが「頭悪い」と感じるのはモデル自体ではなく実装環境の差が原因であることを、一連の実験で検証しました。フォーラムや Reddit で「モデル XYZ は最高」と聞いて量子化版をダウンロードしたのに「クソだな」と思った経験は誰にでもありますが、その原因はモデルの重みではなく、量子化・GPU・推論ソフトなどの実行環境にあります。
著者は「reference implementation」という言葉で、モデルを公開し自社ホストを提供してベンチマークを発表しているラボを指します。そのハードウェアはあなたのものと違い、ソフトウェアも大きく異なります。ホームラボで複数世代の GPU を混在させている場合、チップごとに命令セットが異なり、その命令セットが next token の計算を実行する方法が人によって変わるため、同じ重みを実行しても結果は一致しません。すべてのローカル実装にはそれぞれの問題があり、重要なのは「自分の環境がどれだけずれているか」を測ることです。
なぜ重要か 同じ重みでも実行環境で品質が大きく変わるという実践知です。Ollama 等でローカル運用中のエンジニアは、モデルを疑う前に環境側で差をつける判断材料になります。モデルカードに載っている極端に低い KLD 値に騙されて環境変更に時間を費やす前に、測定方法の妥当性を確認できます。また、量子化・推論ソフト・GPU の組み合わせを変えるだけで出力品質が変わる以上、ローカル運用の品質管理は「モデル選定」ではなく「環境の検証」が主戦場になります。
仕組み トークン生成の流れは、モデルが各 next token 候補に付けるスコア（logits）を確率に正規化し、設定された sampler を通し、detokenizer がテキストに戻すというものです。next token の確率が少し変わるだけで生成結果が大きく分岐するため、小さな実装差が「何かおかしい」という感覚につながります。
サンプラー設定はモデルごとに決まっており、Hugging Face のモデルカードに推奨設定（temp 1.0、top-p 0.95 など）と chat template が指定されています。温度を下げすぎると Qwen が THINK 出力から抜け出せずループする原因になります。
実装差の定量化には KLD（KL Divergence）を使います。出力 logits を確率分布に変換し、ベースラインからどれだけ分布が動いたかを測る指標で、低いほどベースラインに近いというだけで「賢い」ことを意味しません。また方向性があるため、2 つの分布の順序が結果を変えます。quant モデルカードの KLD 主張を解釈するには、参照チェックポイント、完全な実行環境、評価テキスト、キャリブレーションデータ、コンテキスト長、サンプル位置、KL 方向、語彙トランケーション、測定の集計方法の開示が必要で、これらが揃わない数値は信用できません。
推論ソフト側にも誤差の源泉があります。著者が取得した nightly の vLLM コンテナイメージには 734 パッケージ（うち 252 が uv/pip Python）が含まれており、734 個のコードベースそれぞれにバグと未文書化の癖があります。実装ごとにこの巨大なコード群を通る経路が異なるため、出力が分岐します。
実験（Test 1: Precision Benchmarking Attention Backends）では、prefill（プロンプト処理）中に選択される attention バックエンドの影響を検証しました。バックエンドは速度と精度に影響し、GPU ファミリー／SM compute capability ごとに異なる CUDA カーネルが必要です。セットアップは Qwen3.6-27B の公式 BF16 チェックポイント、RTX PRO 6000 Blackwell GPU、tensor parallelism 1、KV cache は BF16、重み・活性・KV cache の量子化なし、pinned の nightly vLLM ビルド、eager 実行、CUDA graphs・prefix caching・MTP を無効化、2k-token の chunked prefill です。Qwen3.6-27B は dense で MoE ではありませんが hybrid モデルであり、64 レイヤーが Gated DeltaNet／linear-attention 3 層 + full-attention 1 層のパターンで構成されるため、バックエンド選択が効くのは 16 の full-attention レイヤーのみです。
ワークロードには、実際の Turnstone lab のワークストリームから取得した約 100k token のコンテキスト（複数回のツール呼び出しと実成果物を含む「Prompt 2」）をリプレイしました。エージェントの実際の作業を模したもので、既存のベンチマークやトレーニングデータセットには存在せず、事前にチューニングされたりキャリブレーションされたりしていないデータです。変更点は FlashAttention 2／Flash Inference／Triton Attention の 3 つのバックエンドのみで、残りは固定しました。32 トークンごとに BF16 で全語彙 logits を取得し、KLD は FP64 で計算しています。
結果は、最初の数千トークンはどのバックエンドでもモデルは次のトークンに同意していましたが、プロンプトの後半でバックエンド間の不一致（Top-1 flip。greedy argmax で選ばれるトークンが変わること）が始まりました。同一バックエンドでのクロス GPU 再現性コントロールも実施されています。
導入するなら
- モデルを疑う前に環境を検証します。自分の実際のワークロードを代表する標準ベンチマーク（terminal bench、HLE、SWE-bench、HellaSwag、MMLU など）を複数実行し、環境のずれを測定します。
- temperature 0 で 3 プロンプトだけのゼロショットテストで良し悪しを判断しません。ゼロショットはエージェントタスクの良い近似にならないため、長文コンテキストのツール呼び出しとドメイン固有知識の評価が必要です。
- HF モデルカードに指定されたサンプラー設定（temp 1.0、top-p 0.95 など）と chat template をそのまま使い、温度を下げすぎないようにします（Qwen の THINK ループの原因になります）。
- quant モデルカードの KLD 値は、参照チェックポイント・実行環境・評価テキスト・キャリブレーションデータ・コンテキスト長・サンプル位置・KL 方向・語彙トランケーション・集計方法が開示されていない限り解釈しません。
- vLLM を使う場合は attention バックエンドの選択が精度に影響する前提で検証します。バックエンドごとに GPU ファミリー／SM compute capability 向けの CUDA カーネルが必要な点も踏まえ、自環境で切り替えて確認します。
原典 Why your local LLM feels dumber than it is
2. scroll-craft——スクロール駆動サイトを組む Claude Code スキル、自身のスクリーンショットで完成度を検証
要点 scroll-craft は、プレミアムなスクロール駆動ウェブサイトを組むための Claude Code スキルです。スクロールがタイムラインとなり、実際のデザインフロア上で、自身のスクロールをスクリーンショットして完成度を検証します。
なぜ重要か 今日から導入できる Claude Code スキルです。LP・ポートフォリオ制作の工数を大幅に削減できる実用 OSS です。
3. Claude Code v2.1.241 リリース——バグ修正と信頼性改善のみの小規模更新
要点 Claude Code v2.1.241 がリリースされました。変更内容はバグ修正と信頼性改善のみの小規模更新です。
なぜ重要か 日常的に使うツールの更新情報です。破壊的変更を含まないため、放置していた場合は更新して問題ありません。
原典 v2.1.241
4. OpenAI Codex 0.150.0-alpha.7 リリース
要点 OpenAI Codex が 0.150.0-alpha.7 に更新されました。
なぜ重要か Codex の開発が活発に続いており、alpha 版のため更新内容の確認と動作検証が推奨されます。
5. OpenAI Codex 0.149.0-alpha.7.2 パッチリリース——0.150 系と同日に公開
要点 OpenAI Codex が 0.149.0-alpha.7.2 のパッチリリースを公開しました。0.150 系と同日に公開されています。
なぜ重要か 同日に複数リリースが続いており、Codex の開発ペースが速いことを示しています。採用・追従判断の参考になります。