Python のスクリプトが書いた JSON Lines のファイルを、Node の API が 1 行だけ書き換える仕組みを作りました。
動かしてみると、status を 1 つ変えただけなのに、git diff ではファイルの全行が変わっていました。
中身の JSON はどの行も同じ意味のままで、読む側のプログラムは何も困っていません。
原因は 2 つあり、json.dumps と JSON.stringify の区切りの空白の違いと、Windows の Python が改行を CRLF に変えることでした。
異なる言語が同じテキストファイルを書くときは、シリアライザの既定と OS の改行の両方を明示的に揃えないと、意味が同じでもバイト列が変わります。
前提(最小限)
構成は、Python のスクリプトが 1 行 1 件の JSON Lines(.jsonl)を書き、Node の API がその中の 1 行の status だけを書き戻す形です。
どちらも同じ PC の同じファイルを触ります。
この記事の実行例は、Windows 11 Home、Python 3.12.10、Node.js v22.14.0、Git for Windows 2.48.1、file 5.46 で取りました。
API そのもの(Next.js)は手元で再現せず、同じ読み書きの処理を素の Node スクリプトに抜き出して確かめています。
区切りの空白が違う
同じ中身のデータを、両方の言語で既定のまま文字列にしてみます。
import json
row = {"id": "x", "status": "proposed", "n": 1, "tags": ["a", "b"]}
print(json.dumps(row))
print(json.dumps(row, separators=(",", ":")))
{"id": "x", "status": "proposed", "n": 1, "tags": ["a", "b"]}
{"id":"x","status":"proposed","n":1,"tags":["a","b"]}
Node の JSON.stringify(row) は、2 行目と同じ {"id":"x","status":"proposed","n":1,"tags":["a","b"]} を返しました。
Python の公式ドキュメントにも、separators の既定は indent が None のとき (', ', ': ') で、空白を消すには (',', ':') を指定するよう書かれています。
json — JSON encoder and decoder(Python 公式ドキュメント)
一方、JSON.stringify は第 3 引数の space を指定しなければ空白を入れません。
JSON.stringify()(MDN)
どちらも正しい JSON なので、パースして比べる限り違いは見えません。
違いが表に出るのは、git diff のようにファイルを文字列のまま比べるときです。
Windows の Python は改行を CRLF にする
もう 1 つの原因は改行コードでした。
Python でテキストモードのまま "\n" 区切りの文字列を書くと、Windows ではファイルの中身が CRLF になります。
from pathlib import Path
# rows の用意は略
text = "".join(json.dumps(r) + "\n" for r in rows)
Path("a_write_text.jsonl").write_text(text, encoding="utf-8")
with open("c_newline_lf.jsonl", "w", encoding="utf-8", newline="\n") as f:
f.write(text)
od -c で中身を見ると、1 つ目のファイルは行末が \r \n、newline="\n" を付けた 2 つ目は \n だけでした。
open() の公式ドキュメントでは、書き込み時に newline が None(既定)だと '\n' が os.linesep に変換され、'' か '\n' なら変換しないと説明されています。
open() の newline 引数(Python 公式ドキュメント)
Path.write_text でも、newline を指定しなければ同じく CRLF になりました。
改行コードそのものの仕組みは、別の記事にまとめています。
確かめるのに file コマンドを使うときは、少し癖がありました。
$ file a_write_text.jsonl
a_write_text.jsonl: New Line Delimited JSON text data
$ file -k a_write_text.jsonl
a_write_text.jsonl: New Line Delimited JSON text data\012- , ASCII text, with CRLF line terminators
file 5.46 は中身を JSON Lines と判定した時点で止まるため、CRLF かどうかは -k を付けたときにだけ出ました。
2 つの原因で差分の出方が違う
Node 側は、読むときに /\r?\n/ で分割し、書き戻すときに "\n" でつないでいました。
const lines = (await fs.readFile(file, "utf-8")).split(/\r?\n/);
const idx = lines.findIndex((ln) => ln && JSON.parse(ln).id === id);
const row = JSON.parse(lines[idx]);
row.status = status; // 変えるのは status だけ
lines[idx] = JSON.stringify(row); // 区切りは "," と ":"
if (lines[lines.length - 1] === "") lines.pop();
await fs.writeFile(file, lines.join("\n") + "\n", "utf-8");
読むときは CRLF でも LF でも受け付けますが、書くときは必ず LF にします。
そこで、9 行のファイルを Python で書いて commit し、Node で 1 行の status を dropped にしてから proposed に戻す往復を、原因を片方ずつ残して試しました。
| Python 側の書き方 | 往復後の git diff(core.autocrlf=false) | 往復後の cmp |
|---|---|---|
| 空白あり・CRLF(どちらも既定) | 9 行変更 | 不一致 |
| 空白なし・CRLF | 9 行変更 | 不一致 |
| 空白あり・LF | 1 行変更 | 不一致 |
| 空白なし・LF | 0 行 | 一致 |
改行がずれると、触っていない行も含めて全行が変わります。
空白がずれると、触った 1 行だけが変わり、status を元に戻してもその行は元のバイト列に戻りませんでした。
core.autocrlf=input の設定で同じことをすると、改行だけがずれた場合は git diff に何も出ず、cmp では不一致になりました。
Git の設定によっては改行のずれが diff に出ないので、diff が静かでもファイルが同じとは限りません。
Python 側を JSON.stringify に揃える
揃える向きは、Python を JavaScript の既定に寄せるのが一番安く済みます。
Python 側は引数を足すだけですが、Node 側を Python の体裁に寄せるには、JSON.stringify の出力に空白を足す処理を自分で書くことになります。
import json
def write_ledger(rows, path):
# 区切りの空白を無くし(JSON.stringify と同じ)、改行は LF に固定する
with open(path, "w", encoding="utf-8", newline="\n") as f:
for r in rows:
f.write(json.dumps(r, ensure_ascii=False, separators=(",", ":")) + "\n")
実際に使っている書き込み処理からの抜粋です。
ensure_ascii=False も揃えるために必要で、既定の True のままだと日本語が \u65e5\u672c\u8a9e のようなエスケープになります。
JSON.stringify は日本語をそのまま出すので、ここが食い違うと Node が書き戻した行だけ日本語の書き方が変わります。
手元の検証では、status を元に戻してもその行はエスケープなしのまま残り、元のバイト列に戻りませんでした。
揃えたあとにバイト一致を確かめる
揃えた後は、書き戻しの前後でファイルを丸ごと比べるのが確実でした。
cp ledger.jsonl before.jsonl
node patch.mjs ledger.jsonl r5 dropped
node patch.mjs ledger.jsonl r5 proposed
cmp before.jsonl ledger.jsonl && echo identical
元の仕組みでも、Python 側を直して台帳を書き直したあと、API で status を dropped と proposed の間で往復させ、cmp で一致を確かめました。
この確認を 1 回通しておけば、以後の git diff には本当に変えた行だけが出ます。
空白と改行のほかに食い違う所
ensure_ascii=False と separators を揃えた状態で、いくつかの文字列を両方で書き出して比べました。
一致したのは、日本語、引用符とバックスラッシュ、タブと改行、制御文字の \u0001、DEL、スラッシュ、U+2028 と U+2029、絵文字、<script>、アクセント付きの文字です。
U+2028 と U+2029 は、どちらもエスケープせずそのまま出しました。
一方で、次の 3 つは食い違いました。
- 孤立サロゲート(
"\ud800"): JSON.stringify は"\ud800"とエスケープするが、json.dumps(ensure_ascii=False) は文字のまま返し、UTF-8 のファイルに書こうとすると UnicodeEncodeError になった - 整数のように見えるキー:
{"b":1,"10":2,"a":3,"2":4}を JSON.parse して戻すと{"2":4,"10":2,"b":1,"a":3}に並び替わった(Python は元の順のまま) - 小数点付きの整数: Python は
1.0のまま書き、JSON.parse して戻すと1になった
孤立サロゲートの扱いは、MDN の「Well-formed JSON.stringify()」の節にも説明があります。
キーが数字だけの行や 1.0 のような値がある台帳では、空白と改行を揃えても Node の書き戻しで行が変わります。
id のようなキーは文字で始めておき、数値は整数か小数かを決めておくと、この差は出ません。
最後に
区切りの空白、改行、日本語のエスケープの 3 つを Python 側で明示すると、Node が書き戻したファイルは元とバイト一致しました。
2 つの言語で同じファイルを書くなら、片方の既定に寄せたうえで、往復させて cmp で比べるところまでを 1 組で済ませるのがおすすめです。
以上です。














コメントを残す