Product
@OpenAIDevs
ChatGPT Work / Codex が他エージェントからの作業インポート・同期に対応
OpenAIが、他のエージェントでの作業内容を ChatGPT Work および Codex と同期できる機能を発表。プロジェクト・チャット・スキル・プラグインをインポートでき、インポート履歴の確認や、設定からの自動更新へのオプトインも可能。ChatGPTデスクトップアプリで利用できる。
メモ
スキルやプラグインといった資産をエージェント間で持ち運べるようにする動き。特定ツールへのロックインを嫌う開発者にとって、移行や併用のハードルが下がるのは実利が大きい。
出典 @OpenAIDevs↗
Industry
@demishassabis
Gemini アプリのユーザーが10億人に到達 ― Google史上最速の成長
Google DeepMindのDemis Hassabis氏が、Geminiアプリのユーザーが10億人に達したと発表。同社史上最も速く成長したプロダクトだとし、チームとユーザーへの感謝を述べた。
メモ
モデル性能だけでなく配布規模の勝負が本格化している。10億ユーザーという分母は、機能追加やモデル更新の影響範囲を考えるうえで無視できない数字。
出典 @demishassabis↗
Research
@natolambert
フロンティアモデルからの「蒸留」実態に公開研究 ― 未対策のラボに驚き
Ai2のNathan Lambert氏が、モデル蒸留に関する論文を紹介。中国滞在時には「どのラボもやっている」と仄めかされたといい、この問題に公開研究が出たことを歓迎しつつ、フロンティアラボがいまだに対策していないことに驚きを示した。蒸留に政策的な規制は不要で、プロダクトが意図通りに動くようにすればよいだけだと指摘している。
メモ
APIを通じた他社モデルからの能力抽出は、業界の公然の秘密が研究として可視化された形。API設計やレート制限など、プロダクト側の防御がどう変わるか注視したい。
出典 @natolambert↗
Perspective
@emollick
LLMが数学で見せる「分野横断の組み合わせ」は科学にとって革命的
Wharton校のEthan Mollick教授は、LLMが数学でやっているような「サブフィールドを横断してアイデアを新しく組み合わせる」ことだけでも科学にとって革命的だと指摘。LLM以前の科学は、吸収すべき知識が多すぎる「知識の重荷」のもとで停滞し、研究が硬直化しつつあったという。
メモ
新しい定理を証明するより先に、「既存知識の組み合わせ探索」でLLMが効くという見方。文献が読み切れないほど膨張した分野ほど恩恵が大きいはずで、研究支援ツールの方向性として腑に落ちる。
出典 @emollick↗
Perspective
@dwarkesh_sp
「AI研究の自動化で、3〜6年分の進歩が1年で起きうる」という見立て
Dwarkesh Patel氏が、AIのR&Dが自動化されれば現在のペースで3〜6年かかる進歩が1年で起きうる、というRyan氏の見立てを紹介。GPT-3.5からMythosへ相当のジャンプが1年で起きる計算になる。大きな論点は、その際にデータがボトルネックになるかどうかだという。
メモ
「AIがAI研究を自動化する」シナリオの定量的な見積もりとして参考になる。実際に律速するのが計算資源かデータか判断力かという論点は、エージェント開発の現場感覚とも重なる。
出典 @dwarkesh_sp↗
Research
@_akhaliq
SWE-Bench ProMax ― 大規模・多言語コードリファクタリングでエージェントを評価
コーディングエージェントを大規模かつ多言語のコードリファクタリングでベンチマークする「SWE-Bench ProMax」の論文が公開された。Hugging Face Papersで読める。
メモ
単発のissue修正を測る従来のSWE-Benchに対し、複数ファイルにまたがる大規模リファクタは実務でエージェントに任せたい作業そのもの。評価軸が実運用に近づくのは歓迎したい。
出典 @_akhaliq↗
Product
@GoogleAI
Google AI Studio製の3Dビジュアライザで皆既日食を追体験
明日の皆既日食(グリーンランド・アイスランド・スペインを通過)に合わせて、GoogleがGoogle AI Studioで構築したインタラクティブな3Dビジュアライザを紹介。月の影の動きを追うことができ、現地で見られない人もオンラインで部分食を観察できる。
メモ
AI Studioで作ったアプリをGoogle自身がイベント連動で見せてくる展示例。プロンプトからインタラクティブな3D可視化まで作れることのショーケースとして見ると面白い。
出典 @GoogleAI↗
ML Practice
@TDataScience
データリーケージを「内側から」― 前後の数値つきで振り返る実例記事
Towards Data Scienceに、MLシステムに潜む「静かなエラー」であるデータリーケージを扱った記事が掲載された。抽象論としてのリーケージ解説は多いが、この記事は実際に遭遇した当事者の視点から、発覚前後の数値とともに具体的に描いている。
メモ
リーケージは評価指標を静かに壊すので、教科書的な定義より「実際にどう見えるか」の事例が役に立つ。before/afterの数字つきというのが実務者には貴重。
出典 @TDataScience↗
RAG
@TDataScience
RAGが「よく間違える質問」のカテゴリとその解決策
Towards Data ScienceのEnterprise Document Intelligenceシリーズ最新回で、Angela Shi氏がRAGシステムが答えを外しやすい厄介な質問カテゴリに焦点を当て、そのペインポイントに対処できる解決策を解説している。
メモ
RAGは「動くデモ」から「外さない運用」への距離が長い。失敗しやすい質問タイプを類型化して潰していくアプローチは、社内文書検索を作る際にそのまま参考になる。
出典 @TDataScience↗