プロンプト職人というより、不確実な系に枠をはめる人。
最近、自分がやっていることには、どうやら名前があるらしいと気づいた。
それが Harness Engineering だった。
もちろん、自分が思いついたわけではない。たいていのことは、気づいた頃にはもう人類が先にやっている。そこに新鮮な絶望はない。むしろ安心すらある。 ただ、自分がここ最近やっていたことに、この言葉が妙にしっくりきた。
だから、まあ雑にでもラベルを貼るなら、これでいいかなと思った。
“a stray” なのは、自分が社会不適合者っぽいからだ。 普通の仕事がなかなかできない。会議、空気読み、期待値調整、感情のケア、曖昧な依頼。人間相手のそういう調整は、昔からだいぶ苦手だった。
でもその代わりに、自分はずっと別のことをやってきた気がする。
キー配列を変える。
たしか colemak-dhm を3層レイヤーで組んだ。
NixOS を触る。
ちなみにマジで便利 nixfiles
快適な環境を自分で組む。 壊れたら直す。 何度も壊れるなら、手順ではなくルールにする。
今やっていることは、結局その延長線上にある。
人間を管理するより、計算機の行動範囲を設計したい
自分にとって、LLM を触っていて気持ちいいのは、まずフィードバックが早いことだ。 それに、一人でもできる。
昔、iPhone を脱獄して、その中で自分の快適な環境を作っていた頃の感覚に近い。 決められた箱の中で消耗するのではなく、構造をいじって、自分にとってマシな世界を作る感じ。
今はその相手が、OS やスマホから LLM に変わっただけなのかもしれない。
自分の感覚では、ハーネスエンジニアリングは「AI を賢くする技術」ではない。 それはモデル提供側の仕事だと思っている。
そうじゃなくて、危うい計算機に、どこまで何をやらせるかを設計する仕事だと思う。 もっと雑に言えば、マネジメントする対象が、自分や恋人から AI になった、という感じもある。
ちなみに LLM のことを何だと思っているかと聞かれたら、一回「彼女？」と答えてしまった。 自分でも意味はよくわからない。でも、扱いを間違えると面倒なことになり、雑に信じると痛い目を見るという意味では、そこまで外してもいない気がする。
自分がハーネスエンジニアリングだと気づいた瞬間
それをはっきり意識したのは、かなり最近だ。 サブスクしてから、まだ一週間も経っていなかった気がする。
自分のサイトを AI に作らせているうちに、途中で「あ、これ環境デザインだな」と思った。 ただ指示を出してコードを書かせているのではなく、事前にルールや仕様を書き出して、望まない構造をスクリプトで検知して、依存や権限の境界を守らせていた。
つまり、自分がやっていたのは「うまいお願い」ではなかった。 壊れ方を制御するための枠組み作りだった。
ここで自分にとって大きかったのは、思想を文章で語るだけで終わらせず、リンターで強制したことだと思う。
「こういう設計思想にしたいにゃ……」で終わると、思想はいつか崩壊する。 人間は忘れるし、AI はもっと忘れる。 でもリンターにすると、少なくとも破り方が明確になる。 自作すれば、AI 向けのメッセージも出せる。便利すぎる。
思想を運用可能な制約に落とす。 たぶん自分が一番感動したのは、その瞬間だった。
良いハーネスは、壊れ方がわかる
自分はまだ「良いハーネスとは何か」を偉そうに定義できるほどわかっていない。 でも、一つだけかなり大事だと思っているのは、壊れ方がわかることだ。
何度も壊れるならルールにする。 曖昧さが不要ならリンターを作る。 逆に、壊れずに突き進まれすぎても困る。再現性がなくなったり、暗黙知が積み重なったりして、あとで地獄になるからだ。
自分にとって一番嫌な暴走は、権限を超えることだ。 次に嫌なのは、仕様を捏造すること。
後者は、ガードレールを置き忘れると本当によく起きる。 特にコンテキストウィンドウが小さいと、すぐ壊す。 だからこそ、ハーネスを頑張ったぶん、使う計算機は安い方がいいとも思う。 高いモデルの気合いと文脈長で押し切るのは、あとで壊れたときにしんどい。
賢く見えることより、安全に使えることのほうが大事だ。 一回うまくいった快感で調子に乗って、あとで全部失うのは嫌だ。 投資で一度増えたあとに調子に乗って溶かすやつみたいで、見ていても自分でやってもつらい。
自分はまだ、なんちゃって側でもある
ここで格好よく「世に蔓延るなんちゃってAI運用を斬る」と言えたら、ブログとしてはわかりやすい。 でも正直、自分はまだその段階ではない。
今やっているのは tenzyu.com の範囲だし、これでまだお金を稼いでいるわけでもない。 API の従量課金制が普通に怖い。 本来なら、もっと計算機に仕事をさせられる場面でも、費用が気になって踏み込めていない。
お金くれる人探してますだから、自分はまだ「なんちゃってAI運用しかしてないんじゃないかな」と思うこともある。
ただ、それでもはっきりしてきたことはある。 自分はモデルを発明したいわけでも、最先端論文の著者になりたいわけでもない。 創造性や批評性をここに持ち込んで、気持ちよく独自理論を語りたいわけでもない。
むしろその逆で、下手に創造するくらいなら、論文を待ちながら、すでにスコアの出ているものを採用したい。 批評を読むのは好きだ。 でも、自分がやりたいのはそこではなくて、現実に壊れにくく、回る環境を作ることのほうだと思っている。
強みがあるとしたら、構造化、継続力、執着、改善欲あたりだろう。 仕組みを動かすほうが、人を動かすよりずっと好きだ。
デザインした上で、何かがうまく動いていたら嬉しい。 それだけでかなり報われる。
仕事にしたい理由は、たぶんかなり素朴だ
今年はこれを仕事にしたいと思っている。 理由はたぶん、そこまで美しくない。
まず、熱量があるうちにやりたい。 これは大きい。 人間の熱量なんて信用できない。燃えているうちに投げ込まないと、そのうち灰になる。
それから、自分はたぶん小さいチームを助けるほうに向いている。 大きい会社は、たぶん自分みたいな個人をまともに相手にしない。まあ当たり前だ。 でも、小さいチームなら、環境デザイナー的な立ち位置で価値を出せる気がする。
発信から始めるのがいいとも思っている。 いきなり責任の重いことを言うより、まず仲間がほしい。 法律が許してくれる範囲で、受託や業務委託につながればいい。
得たいものは、結局かなりはっきりしていて、自由 だ。
自分の思想として、計算機は最初、すべてを禁止されていて、そこから条件付きで行動範囲が増えていく。 たぶん自分自身も似たようなものだ。 仕事をするという条件のもとで、ようやく開放される自由がある。
お金がないと、「お金がないにゃ……」で潰される。 それはかなり現実的な問題だ。 だから、自由のために仕事にしたい。
夢があるというより、生存戦略に近い。
まだ経験は足りない。でも名乗りたい
この肩書きを堂々と名乗りたいかと聞かれたら、答えは「はい」だ。
もちろん、経験不足も実績不足もある。 ブレーキの正体は、どちらかと言えばノウハウ不足だと思う。 でも、それでも名乗りたい。 なりたいものになれるのは、なろうとした人だけだと思うからだ。
“名乗らせていただく〜ｗ” の “〜ｗ” には、照れや予防線も多少あるだろう。 でも、それだけではない。 将来振り返ったときに、ちょっと面白いからだ。
本気だけど、深刻ぶりたくはない。 まだ雑に始まった段階の言葉だからこそ、その雑さごと置いておきたい。
1年後、また会いましょう
1年後、この方向が正解だったと思える状態が何かと聞かれたら、まだうまく言えない。 「ググってコピペでイッセンマン」と答えてもいいけど、まあそれはそれとして、理想としては、関所みたいな層にいたい。 モデルの中身そのものではなく、 人間と計算機、仕様と実装、自由と制約、その間にあるパイプラインの関所。
全部を賢くする人ではなく、 壊れにくく通す人。 通してはいけないものを止める人。 そのあたりに、自分の居場所がある気がしている。
最終的に何者になりたいかと聞かれると、肩書きより先に出てくる答えはこれだ。
趣味で謎解きしてる人になりたい。
問題があり、構造があり、制約があり、そこに解法がある。
その感じが好きなのだと思う。
だから今は、こう名乗っておく。
a stray LLM-harness engineer
人間より計算機のほうがマシ、と思う日も多い。 それでも、計算機をちゃんと扱える人間には、まだ役割があるはずだ。
1年後、また会いましょう。