トークン

生成AIで必ず出てくる「トークン」という単位を整理します。1トークンの目安、料金とコンテキスト上限に効く理由、日本語が英語より重くなる仕組みまで、順番に解説します。