Evals
@karpathy
「ペリカンSVG」の次へ — Karpathy氏、Opus 5に『指輪物語』冒頭と100万トークン(約10ドル)を渡す実験
Andrej Karpathy氏は、「自転車に乗るペリカンのSVGを描かせる」ようなLLMテストの領域を離れつつあると指摘。その一般化のアイデアとして、Opus 5に『ロード・オブ・ザ・リング』の最初の段落と100万トークンの予算(約10ドル)を与えて何を作るかを試した。続くポストでは成果物のソースを公開し、ブラウザで遊べる形にしている。
メモ
単発のお題ではなく「大きなトークン予算を渡して何を構築できるか」を見る評価への移行。エージェント時代のモデル比較の仕方として示唆が大きい。
出典 @karpathy↗
Product
@gdb
Brockman氏、ChatGPTの活用例を連投 — 教育ツール作り・家族のアプリ開発・定型タスクの自動化
OpenAIのGreg Brockman氏が、ChatGPTの使い方を示す短い投稿を連続で公開。「インタラクティブな教育ツールを作るためのChatGPT」「父親がものを作れるようになるChatGPT」、そして「繰り返しのタスクはChatGPT workに任せる」という3つの切り口で活用例を紹介した。
メモ
個別のデモよりも、「作る道具」「非開発者の開発」「定型業務の常駐エージェント」という3方向を同時に推している点が、OpenAIの製品の押し出し方として読み取れる。
出典 @gdb↗
Industry
@natolambert
「ラボの統合は必然」だったはずでは — Nathan Lambert氏が業界再編の予測を再検証
Ai2のNathan Lambert氏は、モデルを訓練するラボの統合(consolidation)が近い将来の道筋として多くの観察者に予測されてきたと振り返る。訓練コストが毎年桁違いに増えていく以上は必然、とされてきた見立てだ。氏は「2024年の自分ならそう予測しただろう」と前置きしつつ、この予測を問い直す考察を投稿している。
メモ
コスト曲線からの「統合必然論」が実際の業界の動きとどうずれているか、という当事者の整理。モデル供給側の勢力図はAPI選定やオープンモデル戦略に直結する。
出典 @natolambert↗
Perspective
@EMostaque
「2030年、その数学のブレークスルーがAI発でないと、どう確信できるのか」— Mostaque氏の問い
Emad Mostaque氏が「2030年(あるいは2027年!)には、いかなる数学のブレークスルーも元々AIが着想したものではない、とどうやって確信できるのか」と問いかけた。
メモ
前日に流れたOpenAIの数学・理論計算機科学での進展報告と地続きの論点。AIが一次研究に入り込むほど、発見のクレジットと検証プロセスの問題は現実のものになる。
出典 @EMostaque↗
AI Engineering
@swyx
swyx氏が薦める講演「fighting slop with slop」— Boundaryの@vaibcodeが登壇
AI Engineerカンファレンスを主催するswyx氏は、主催者ゆえに本番では講演をほぼ見られず、終了後に皆と同じように録画を見返していると明かしつつ、Boundaryの@vaibcodeによる講演「fighting slop with slop」を「ペース配分も論証も非常に良かった」と紹介した。Bret Taylor氏からの質問があったことにも触れている。
メモ
AI生成物の「slop(粗製乱造)」にAIで対抗するという逆説的なテーマ。目利きの主催者が名指しで薦める講演は、録画で追う価値が高い。
出典 @swyx↗
Perspective
@emollick
「うわ、またボットか」— 驚異が日常になることについて、Mollick氏
Ethan Mollick氏は「あなたはこの投稿への返信を読むだろう。それは人間ではなく、人類の書いたものから言語を学んだ機械が書き、何十億もの微小なスイッチで生成され、光のパルスとして海を渡り、ポケットのスーパーコンピュータに表示される。そしてため息をつく。『うわ、またボットか』と」と投稿。同日の「あなたは驚異を目にして、肩をすくめて『はい、また驚異ね』と言うだろう」という投稿と対になっている。
メモ
技術的な驚異とユーザー体験の間の落差を突いた視点。開発者としては、この「慣れ」の速さを前提にプロダクトの価値を設計する必要がある。
出典 @emollick↗
Dev Tips
@swyx
codexの小技 — スレッドを「@」で参照し、キューに積んで使う
swyx氏は、自作プラットフォーム「Forge」を今後の全プロジェクトのホスティングに使う形で開発を進めており、プラットフォームとプロダクトを行き来する日々だという。その中で見つけた小技として、OpenAIのcodexではスレッドを「@」で参照でき、その「@」をキューに積んでおけることを共有した。
メモ
コーディングエージェントを並行運用するときの文脈の渡し方は、まだ皆が手探りの領域。ヘビーユーザーの運用の癖はそのまま真似できることが多い。
出典 @swyx↗
Engineering
@TDataScience
C++/CUDAで推論エンジンをゼロから作る — LLMランタイムの中身を理解するチュートリアル
Towards Data Scienceが、Anubhab Banerjee氏によるカスタムC++/CUDA推論エンジンをスクラッチで構築するチュートリアルを紹介。ベアメタルに近いレベルでAIが実際にどう動くのかを理解し、道中で遭遇する同期バグにも向き合う内容だという。
メモ
普段はvLLMなどのライブラリに任せている推論の中身を、一段下から掴むのに良い題材。同期バグまで含めて扱う「作って学ぶ」系は貴重。
出典 @TDataScience↗
Data Science
@TDataScience
PythonデータサイエンスのGPU対応は「ほぼコード変更なし」で使える段階に — MLパイプラインで実地検証
「今日ではPythonデータサイエンススタックの多くでGPUサポートが利用でき、コードの変更をほとんど(あるいは全く)せずに既存ワークフローを高速化できる」として、Parul Pandey氏が典型的な機械学習パイプラインを1ステップずつ検証していく記事をTowards Data Scienceが紹介した。
メモ
「コードそのままでどこまで速くなるか」を工程別に見られるのが実用的。手元の前処理・学習パイプラインの高速化余地を見積もる参考になる。
出典 @TDataScience↗
AI Agents
@TDataScience
コードを書いて実行するLLMエージェントの作り方 — CSV分析からレポート生成までの実践ガイド
Shuai Guo氏による、コードを書いて実行できるLLMエージェント構築のハンズオンガイドをTowards Data Scienceが紹介。まずメンタルモデルを組み立て、その後エージェントにCSVファイルを分析させ、グラフ付きのレポートを返させる小さなケーススタディを通して解説する構成だという。
メモ
「コード実行エージェント」はデータ分析・自動化の基本形で応用が広い。小さく完結した題材で設計の全体像を掴むには手頃な入口。
出典 @TDataScience↗