文字コード

fileコマンド入門｜拡張子に頼らずファイルの正体を知る

拡張子はただのラベルです。fileコマンドで中身の先頭バイトから本当の形式を見抜く基本を、そのまま・-b・-iの3つに絞って整理しました。文字コードやBOMの判定、findとの組み合わせまで実行例つきで解説します。

文字化けしたCSVをコマンド1行で直すiconvの基本。-f/-tの指定、変換できない文字の逃げ道、SHIFT_JISとCP932の違いまで実測付きで整理します。

サンドボックスやブラウザ越しに外部データを取ると、content-typeや取得上限で詰まりがち。CDN化・APIのbase64・保存ファイル化という3つの逃がし方と、どの壁かを切り分ける判断フローを実作業ログから整理しました。

開いたファイルが呪文のように化ける文字化け。その正体を、バイトと文字の対応＝文字コードからほどきます。UTF-8とShift_JISの違い、BOM、そして化けを防ぐ習慣までをまとめました。

改行コードのCR・LF・CRLFは何が違うのか。0x0Dと0x0Aという制御文字の正体から、WindowsとUnixで流派が分かれた歴史的背景、Gitで差分が汚れるトラブルとその回避設定まで、仕組みごと整理して解説します。