Product
@ClaudeDevs
Claude Code に claude plugin eval が追加、プラグインの効果をテストケースで採点
Claude Code に claude plugin eval コマンドが加わりました。テストケースを作り、プラグインやスキルをそのケースに対して実行して採点し、さらにプラグインなしで同じケースを再実行して差分を見ることで、プラグインがどれだけ価値を足しているか、あるいはまだ手直しが必要かを確認できます。プラグインのフォルダで claude plugin eval init を実行し、良い出力と悪い出力の例と実際のプロンプトをいくつか渡すと、Claude がテストケースとチェックを下書きし、スイートを試走して、フル実行にかかるコストも教えてくれます。
メモ
スキルやプラグインは「入れたら良くなった気がする」で終わりがちだったので、あり/なしの比較を同じケースで回せるのは大きいです。まずは自作スキルに init をかけて、Claude が下書きしたケースをどこまで信用できるか見てみたいところです。
出典 @ClaudeDevs↗
AI Agents
@ClaudeDevs
Anthropic のチームが Claude Tag をオンコール対応に使う流れ
Anthropic のチームが Claude Tag をオンコールでどう使っているかを紹介しています。Slack にアラートが上がると、Claude がメトリクスを取得し、デプロイの差分を確認し、フラグをチェックします。そこから原因の候補を突き止めて修正案を提示し、チームはそれを承認してマージするだけです。1分1秒が惜しい場面なので、すぐに動き出してくれる点を気に入っているとのことです。
メモ
アラート発火から初動調査までを人が起きる前に済ませておく、という使い方です。メトリクス・デプロイ差分・フラグの3点を見に行けるだけの権限と接続を Claude 側に用意しておく必要があるので、自社で真似するならまずそこの整備からになります。
出典 @ClaudeDevs↗
Product
@OpenAIDevs
OpenAI、生物学向け推論モデル GPT-Rosalind を API と Codex で提供
OpenAI は GPT-Rosalind を API と Codex で利用できるようにしました。生物学的な推論を強化したモデルで、複数の論文や実験結果をまたいで知見をつなぎ、生物学的なターゲットに対するエビデンスの重みを評価し、次に何を試すべきかを計画する分析を進められるとしています。
メモ
汎用モデルとは別に、特定領域向けのモデルを API と Codex の両方から使えるようにしてきた点が目を引きます。Codex から呼べるということは、解析スクリプトと文献の突き合わせを同じエージェント内で回す形が想定されていそうです。
出典 @OpenAIDevs↗
Perspective
@dwarkesh_sp
Dwarkesh Patel、John Schulman らとフロンティアの現状を語る新エピソードを公開
Dwarkesh Patel が John Schulman、Charlie O'Neill、Beren Millidge を迎えた新エピソードを公開しました。比較的オープンな方針の企業にいる研究者を集め、フロンティアで実際に何が起きていて、次に何が来るのかを詳しく聞く回です。関連の投稿では、Sonnet 5 と Opus 5 が GLM 5.3 より劣って感じられるのはなぜか、という3人の推測や、OpenAI 初期に Schulman が「次トークン予測はノイズに埋もれて知能には至らない」と考えていた話に触れています。どの手法が分布外への汎化を引き出すかを事前に予測するのはずっと難しかった、という振り返りです。
メモ
蒸留元の Fable があっても小さいモデルの体感品質が思うように上がらない、という話はモデル選定の勘所に直結します。オープンモデルとの比較を含めて、研究者側がどこに難しさを見ているかを聞ける回として押さえておきたいです。
出典 @dwarkesh_sp↗
Perspective
@AndrewYNg
Andrew Ng、「AI Engineering」のスキルとして構築を能動的に形づくる力を挙げる
Andrew Ng は、AI Engineering のスキルがあれば構築を能動的に形づくれる、と述べています。何を作るかに影響を与え、構築のループを自分で駆動する、というのがその中身です。そのための鍵となるスキルを整理して紹介しています。同日の The Batch でも「Shaping the Build」として、AI にコードを書かせるだけでは足りず、開発者が習得すべきことがあると取り上げられています。
メモ
「AI にコードを書かせる」と「AI で作るものを決めて回す」の間にある差を言語化した話です。エージェントが書く量が増えるほど、要件の切り方と評価ループの設計が開発者の主な仕事になっていく、という見立てと合致します。
出典 @AndrewYNg↗
Open Source
@PyTorch
PyTorch 2.14 リリース、Inductor・Distributed・Apple Silicon などを更新
PyTorch 2.14 が公開されました。Inductor、PyTorch Distributed、c10d、dynamic shapes、Apple Silicon、アクセラレータプラットフォーム対応に更新が入っています。2.13 以降で 487 人のコントリビューターによる 2,995 コミットが含まれるとのことです。2.14 についての質問を受け付けるライブ Q&A も予定されています。
メモ
Apple Silicon 周りの更新は、Mac ローカルで学習や推論を回している人には直接効いてきます。dynamic shapes と Inductor の改善は torch.compile の適用範囲に関わるので、リリースノートで自分のモデルに関係する項目を拾っておきたいところです。
出典 @PyTorch↗
Open Source
@PyTorch
Hugging Face Kernels が Helion に対応、カーネルの構築から配布までを一気通貫に
Hugging Face の Kernels プロジェクトが Helion をサポートしました。公開されたブログでは、高性能で移植性のある Helion カーネルを構築し、autotune し、Hugging Face Kernels 経由で配布するまでの流れを解説しています。利用者側はそれらのカーネルをシームレスに取り込めるようになります。
メモ
カスタムカーネルは書くより配る方が面倒だったので、Hub 経由で配布・取得できる経路に Helion が乗ったのは実用面で意味があります。Triton より高い抽象度で書けて autotune もできるなら、自前カーネルの敷居はさらに下がりそうです。
出典 @PyTorch↗
Research
@GoogleDeepMind
Google DeepMind、修復した古写真とポーズ制御モデルで「撮影されなかった記憶」を再構成
Google DeepMind は、映像として残っていない記憶をどう再構成するか、という取り組みを紹介しています。チームは修復したアーカイブ写真とポーズ制御モデルを組み合わせ、Burt と Ethelle という2人の仕草や微妙な表情を捉えました。これによって2人が初めて出会った日を再現し、新しいドキュメンタリー「Love, Rendered」に活かしたとのことです。
メモ
生成動画に「本人らしさ」を持ち込む手段として、写真からの復元とポーズ制御を組み合わせている点が技術的に興味深いです。プロンプトだけで作る映像と違い、実在の資料に条件づけて再現する方向は、アーカイブや記録の分野で使い道がありそうです。
出典 @GoogleDeepMind↗
Research
@emollick
予測研究の専門家による自動予測システム、AI 起因の大規模災害の確率を 2030 年までに 0.47% と推定
Ethan Mollick は、予測(forecasting)分野の主要な専門家が構築した、壊滅的リスクを見積もる自動予測システムを紹介しています。このモデルは、AI が引き起こす大規模災害が 2030 年までに起きる確率を 0.47% と予測しています。原因を問わない大規模災害が 2030 年までに起きる確率は 1.1% とのことです。
メモ
数字そのものより、予測を人の直感ではなく自動化されたシステムで継続的に出す試みとして見ておきたいです。前提や更新頻度によって値は動くはずなので、どういう入力で推定しているかをサイトで確認してから引用したいところです。
出典 @emollick↗
Event
@PyTorch
PyTorch Day Japan 2026 が 12 月 10 日に東京で開催、プロポーザル募集を開始
PyTorch Day Japan 2026 が 12 月 10 日に東京で開催され、プロポーザルの募集(CFP)が正式に始まりました。セッション発表と Lightning Talk の両方を受け付けており、対象はオープンソース AI、PyTorch、AI/ML の全般です。Sovereign AI などがテーマの例として挙げられています。
メモ
国内で PyTorch コミュニティの一次情報に直接触れられる機会です。Lightning Talk 枠があるので、業務で試した小さな知見を出す場としても使えます。
出典 @PyTorch↗
