Tech

trapとは？シェルスクリプトの後片付けを確実にする

trapとは？シェルスクリプトの後片付けを確実にする

シェルスクリプトの後片付けを確実にする trap コマンドを、GNU bash 5.1.16 で実際に動かしながら整理しました。EXIT・ERR・TERM の使い分けと、引用符の違いでハマる落とし穴まで。

フューショットとは？AIに例を見せて精度を上げる

フューショットとは？AIに例を見せて精度を上げる

ゼロショット・ワンショット・フューショットの違いを、同じ分類タスクの指示文で並べて整理しました。言葉の出どころであるGPT-3の論文と、例を足しても効かない場面までまとめています。

set -euo pipefailとは？bashの安全装置

set -euo pipefailとは？bashの安全装置

bashスクリプトの先頭に書く set -euo pipefail が、それぞれ何を止めているのかを実際の挙動で整理しました。grepの0件やifの条件部など、入れた直後にハマるポイントもまとめています。

LoRAとは？AIモデルを少ないパラメータで微調整する仕組み

LoRAとは？AIモデルを少ないパラメータで微調整する仕組み

LoRAは事前学習済みの重みを凍結したまま、小さな行列のペアだけを学習する手法です。学習パラメータを1万分の1に減らしても精度が保てる理由と、実際に触る設定を整理しました。

od・xxd入門｜ファイルの中身をバイト単位で確かめる

od・xxd入門｜ファイルの中身をバイト単位で確かめる

見た目は普通なのに動かないファイルは、バイト単位で覗くと原因が見えます。od と xxd で文字化け・改行コード・BOM・全角スペースを特定する手順を、実際の出力つきで整理しました。

MoEとは｜47Bのモデルを13B分の計算で動かす

MoEとは｜47Bのモデルを13B分の計算で動かす

MoE（Mixture of Experts）が何を節約しているのかを、Mixtral 8x7Bの総47B・活性13Bという数字を手がかりに整理しました。速くなるのは計算で、メモリは減りません。

dateコマンドで日付を計算する

dateコマンドで日付を計算する

ログの日付づけや月末計算で毎回ググっていたdateコマンドを、書式指定・相対日付・エポック秒・タイムゾーンの順に整理しました。GNU coreutils 8.32で実行した出力つきです。

RLHFとは？人間の好みでAIの答えを整える仕組み

RLHFとは？人間の好みでAIの答えを整える仕組み

RLHFは人間の評価を報酬に変えてAIの答え方を寄せる学習方法です。3段階の流れ、なぜ模範解答ではなく順位を集めるのか、DPOのような後継手法までを一次論文つきで整理しました。

sha256sum入門｜ファイルの中身が同じか確かめる

sha256sum入門｜ファイルの中身が同じか確かめる

ダウンロードしたファイルが壊れていないか、2つのファイルが本当に同じかを sha256sum で確かめる方法をまとめました。-c での一括検証、ディレクトリ丸ごとの比較、md5 との使い分けまで、実測した出力つきで整理しています。

KVキャッシュとは？LLMが長い文脈で重くなる仕組みを整理

KVキャッシュとは？LLMが長い文脈で重くなる仕組みを整理

会話が長くなるとAIの応答が重くなるのはなぜか。KVキャッシュが何を保存しているのか、文脈が伸びるとメモリがどれだけ増えるのか、削るための3つの方向までを順番に整理します。