OpenAI DevDay 2026発表ほか16件

目次

• 1. 深掘り: Claude Opus 5.5性能変化測定
• 2. OpenAI DevDay 2026発表まとめ
• 3. GPT-6.1 Sol価格と性能評価
• 4. Anthropic Frontier Red Team評価
• 5. dotsオープンソース実装
• 6. Codex v0.159.2 Windows修正
• 7. Codex v0.161.0-alpha.3
• 8. LLMプロバイダー選択の実証
• 9. KV-Kaizenキャッシュ圧縮
• 10. エージェント修正PRのマージ率
• 11. エージェントハーネス設計の学習
• 12. 決定論的長期記憶システム
• 13. 公開スキル検索による最適化
• 14. LeapQuant線形注意量子化
• 15. STEPQuant再帰状態量子化誤差
• 16. 長期記憶書き換え価値の学習
• 17. hypoarena科学仮説発見基盤

深掘り: Claude Opus 5.5性能変化測定

• livenerf は Claude Opus 5.5 の出荷後30日間の性能変化を測定するベンチマーク。2026-09-22 のリリースを起点に毎日1回・30日間実行する。
• 検証するのは「モデルは出荷後に劣化するか」という一点。Anthropic が数日〜数週間後に「nerf」するという報告を、一次データで検証する。
• v0 は Claude Max サブスクリプション経由の headless Claude Code（claude -p）で動作。API キーは不要。サンプリングパラメータや thinking は制御できない。
• 固定要素は凍結プロンプト、ピン留め CLI（2.1.280）、正確なグレーダー、生ログ。ハーネスハッシュ 461391b6fce64167。統計は Anthropic の「Adding Error Bars to Evals」に準拠する。
• 評価基盤は Inspect（UK AI Security Institute のオープンソース評価フレームワーク）。統計手法に独自の改変はなく、再現性を優先する。
• プロトコルは事前登録済み（v2）。ベースライン10日間、その後2つの10日間ウィンドウで比較。初回判定は2026-10-24頃、結果行は20日目以降。
• 2026-09-29 時点で 30 日中 6 日分を収集（ベースライン 6/10）。全 6 日が同一ハーネスで 90 サンプル完了。5 日目に予算ガードを1回上書き（逸脱ログ参照）。数値は docs/CALIBRATION.md のログから生成され、数千サンプルにわたる統計的ドリフトを追跡する。

原典 Livenerf: Has Opus 5.5 been nerfed yet?

2. OpenAI DevDay 2026発表まとめ

• Dots は常時稼働エージェントで、GPT-6 Astra を搭載し独自クラウドコンピュータで動作する。4,000以上のアプリと Slack/Teams に接続し、ユーザーが自律動作・承認必要・禁止事項の境界を設定できる。
• Pro、Business Premium、Enterprise に提供され、直接作業はプラン使用量を消費しないが、Codex タスクは消費する。バグ修正や失敗ビルド、PR の引き継ぎも可能。
• GPT-6.1 Sol は Opus 5.5 への対抗モデルで、新しい Ultrafast モードは未指定シリコンで動作する。ChatGPT Spaces と Pages は人間とエージェントの共有スペースとして提供される。
• Decisions API は Luna の軽量ラッパーでビジョン対応だが、キャリブレーションや RLCD は含まない。Agents API や Marketplace もプラットフォーム更新に含まれる。

原典 [AINews] OpenAI DevDay 2026: Dots, 6.1 Sol, Ultrafast, Decisions API, Agents API, Spaces, Marketplace, and 1.2 Billion ChatGPT WAU

3. GPT-6.1 SolはAstra級知能を1/5価格で

• GPT-6.1-Sol は Near-Astra 級の知能を Astra の約 1/5 の価格で提供するモデルとして発表された。
• Simon Willison は 2026-09-29 の Hacker News コメントと自身のブログ（live-blog 参照）でこの評価を公開した。
• API コストと精度のトレードオフ判断に直結する価格情報であり、個人開発者がモデル選択を見直す際の具体的な数値基準になる。

原典 GPT 6.1 Sol: Near-Astra intelligence for a fifth of the price

4. Anthropic Frontier Red Team評価

• Anthropic Frontier Red Team は内部 Binary Exploitation ベンチマーク（ランダム選択の 100 タスク）で複数モデルを評価した。
• GLM-5.3 は制御フロー乗っ取り（full control flow hijacks）を 4% の試行で成功させた。Claude Mythos Preview は 6% だった。
• 以前のモデル（Claude Opus 4.6、GLM-5.2）はいずれも成功率 0% であり、意味のある閾値を超えたと評価されている。
• オープンウェイトモデルとフロンティアモデルの実力差を数値で把握でき、モデル選定の判断材料になる。

原典 Quoting Anthropic Frontier Red Team

5. dotsオープンソース実装

• feder-cr/dots はブラウザを持つ AI エージェント「dots」のオープンソース実装。独自ブラウザを内蔵し、ブロックされない Web 操作を実現する。
• 個人開発者が自動化ワークフローに組み込める実用 OSS。エージェントにブラウザ操作を統合する基盤として再利用価値が高い。
• タグは oss、agent、browser、automation。自動化とブラウザ統合を重視する開発者に直接関係する情報。

原典 feder-cr/dots

6. Codex v0.159.2 Windowsコンソール修正

• Codex v0.159.2 は Windows でバックグラウンドプロセスやサンドボックスコマンド起動時にコンソールウィンドウが点滅するバグを修正した（#49385）。
• リリースは rust-v0.159.1 から rust-v0.159.2 への変更で、@andrewgu-oai が 0.159 系へのバックポートとして対応した。
• 運用環境でのウィンドウ点滅ノイズを抑制し、コーディングエージェントのバックグラウンド処理の安定性を向上させる修正である。

原典 0.159.2

7. Codex v0.161.0-alpha.3 リリース

• Codex のアルファ版 v0.161.0-alpha.3 がリリースされた（タグ rust-v0.161.0-alpha.3）。
• 最新アルファ版の動向を先取りできるリリース情報であり、エージェント運用の改善点を把握できる。
• 個人開発者が Codex を本番ワークフローに組み込む際のバージョン選択に役立つ情報である。

原典 0.161.0-alpha.3

8. LLMプロバイダー選択は価格表だけでは決まらない

• 既存のLLMルーターはモデルごとの静的コストで選択するが、オープンウェイト推論市場ではモデル選択後にプロバイダー選択という第二の判断軸が存在する。
• 複数のオープンモデル、競合プロバイダー、複数タスクタイプ、3回の測定波でライブエンドポイントを測定し、プロバイダー選択は価格表から推測できないことを示した。
• 同じモデルでもプロバイダーによって品質・レイテンシ・可用性・価格が大きく異なり、高価格プロバイダーは一貫して高速だが価格だけでは判断できない。
• 推論コスト削減のためにプロバイダー比較を行う際、価格表だけではなく品質・レイテンシ・可用性を含めた判断基準が必要になる。

原典 You Cannot Pick a Provider From the Price List: Market-Aware Routing for Open-Weight LLM Inference

9. KV-Kaizen: 学習的キャッシュ圧縮選択

• LLM のコンテキストサイズが増大すると、KV キャッシュが元のモデル重みを超えることがあり、デコードがメモリバウンドになるためスループットが低下する。
• 既存手法は関連性の低いトークンを破棄（eviction）してボトルネックを緩和するが、一度破棄した内容が後で必要になる可能性があり緊張関係が生じる。
• KV-Kaizen はトークンを破棄せずにキャッシュ圧縮を実現する代替選択肢に焦点を当て、コンテキスト適応的な圧縮選択を学習するセレクターを学習する。
• 個人開発者が長文処理を含む SaaS を構築する際、メモリコスト削減と推論速度向上に直結する手法である。

原典 KV-Kaizen: Learning Context-Adaptive Cache Compression Choices

10. エージェント修正PRの57%マージ率調査

• AIDev v4 の 71,677 件のエージェント PR から、6 つのエージェントが 582 リポジトリで修正した 1,262 件のパフォーマンス問題を選定した。
• 各問題とテストをコード化し、拒否された 23 件とマージされた 30 件の修正を再実行して検証した。
• 閉じた修正の 57% がマージされ、拒否の 61% に理由が記載されていなかった。
• 再実行された拒否された 23 件の主張のうち、検証を通過したのは 6 件だけだった。
• コーディングエージェントが生成する修正の信頼性を数値で評価でき、自動マージ閾値やレビュー体制の設計判断に直結する。

原典 Merged, Not Measured: An Empirical Study of Performance Issues Fixed by Coding Agents

11. エージェントハーネス設計のメタスキル学習

• エージェント性能は推論能力と実行環境の両方に依存する。テスト時AI-for-AIでは、固定重みのBuilderがTargetのためにより良い実行環境を構築する方法を研究する。
• Meta-Skill は支援が必要なタイミングと提供すべきリソースを指定する原則。Builder は開発セットでのTargetの実行フィードバックからこの原則を学習する。
• 学習後、凍結されたスキルバンクを使って未見タスク向けのハーネスを構築する。Harness-Bench と NewtonBench で評価される。
• 個人開発者が複数タスクを処理するエージェントを構築する際、ハーネス設計を自動改善する再利用可能なワークフロー術として活用できる。

原典 Learning Meta-Skills for Agent Harness Design in Test-Time AI4AI

12. 決定論的長期記憶システムの評価

• LongMemEval-S で監査可能な長期記憶システムを評価。ハイブリッド候補検索、クロスエンコーダ再ランク、カバレッジ優先パケット編集、決定論的推論足場を組み合わせた検索チェーンを使用し、LLM は交換可能な最終リーダーとしてのみ利用する。
• 468/470 の回答可能質問で全ゴールドセッションを候補プールに配置し、462/470 でゴールド完全パケットを生成した。
• Claude Opus リーダー（固定されていない CLI エイリアス経由）による 2 回の 500 問パスで、GPT-4o 下で 479/500 と 475/500 を記録した。
• 72 の回答可能知識更新行では実質的に修正された手法を使用している（詳細は原論文を参照）。

原典 Auditable Long-Term Memory: A Deterministic Retrieval Chain Measured at 479/475 of 500 on LongMemEval-S

13. 公開スキル検索によるエージェント最適化

• エージェントスキルは、特定ハーネス下でタスクを効果的に実行する再利用可能な自然言語アーティファクトである。公開スキルは数百万件に達している。
• 既存のスキル最適化手法はこの蓄積知識を無視し、高コストなエージェントロールアウトのみに依存して反復改良を行う。
• 本研究は Retrieval-Augmented Skill Optimization を提案し、公開スキルを検索して異なるハーネス間で適応させることで最適化を行う。
• 個人開発者はゼロからスキルを構築する手間を減らし、既存資産を再利用してエージェントのタスク成功率を高められる。

原典 Retrieval-Augmented Skill Optimization via Cross-Harness Adaptation

14. LeapQuant: 線形注意の再帰状態量子化

• GDN や KDA などのハイブリッド設計では、標準注意を線形注意に置き換え、コンテキストを固定サイズの再帰状態に圧縮して長文処理コストを大幅に削減する。
• 再帰状態の繰り返し読み書きは依然として推論の主要ボトルネックであり、量子化はコスト削減の自然な手段だが、丸め誤差の蓄積と外れ値行・列の存在によりモデル品質を大きく劣化させる。
• LeapQuant はこの課題に対処し、正確に低精度化された再帰状態によって効率的な線形注意を実現する手法である。

原典 LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization

15. STEPQuant再帰状態量子化誤差の時間・空間分析

• 線形注意は増大するKVキャッシュを固定サイズの再帰状態に置き換えるが、同時提供下ではこの持続状態が大きなメモリボトルネックになる。
• 再帰状態を直接低精度に量子化すると、量子化誤差が連続する状態更新を通じて伝播し、精度が大きく劣化する。
• 誤差の影響は時間軸と空間軸の2次元で異なる。長寿命メモリの誤差は多くのデコードステップにわたって持続し、異なるキー行の誤差は出力に異なる影響を与える。
• STEPQuant はこの時間的・空間的依存性を発見し、低精度デプロイ時の精度劣化リスクを評価する指針を提供する。

原典 STEPQuant: When and Where Errors Matter in Delta-Rule Recurrent State Quantization

16. 長期記憶の書き換え価値を学習するMGPO

• 永続的テキストメモリは長い対話で情報を保持するが、何を記憶するかは信用割当の問題である。書き換えの有用性は多ステップ後に現れるため、従来手法では遅延報酬を直接学習信号に変換できない。
• Memory Gain Policy Optimization（MGPO）は各メモリ書き換えの増分価値を分離し、現在と将来の下流効用への限界貢献を評価することで、遅延した記憶効用を直接の学習信号に変換する。
• 既存記憶から継承された効用と新しい書き換えによる増分効用を区別でき、エージェントの記憶管理を効率化する。
• 長期対話を持つ SaaS のメモリ管理コスト削減に直結する手法であり、不要な記憶更新を減らす判断材料になる。

原典 Learning What to Remember: Long-horizon Counterfactual Memory Optimization

17. hypoarena科学仮説発見ワークベンチ

• hypoarena は科学的仮説発見のためのグラフベースワークベンチ。仮説と証拠をグラフ構造で管理し、合成文献に埋め込まれた因果チェーンを扱う。
• 生成・議論・進化のループをプラグイン可能なオフラインアダプター上で実行し、Elo トーナメントで埋め込まれたスキル順序を復元する。
• パラフレーズ重複排除、ベイズ的証拠蓄積、再現可能なレポート生成を含む。コアは NumPy で、CPU のみの torch 追加で動作する。
• 個人開発者が研究支援ツールとして再利用できる OSS 基盤であり、仮説・証拠グラフや合成文献、Elo トーナメントの構成要素を独自分析パイプラインに組み込める。

原典 OpSafari/hypoarena