Unicodeの数値文字参照をUTF-8とかUTF-16に変換する

NKFの--numchar-inputオプションでできます。

例えばUnicodeの「あ」(U+3042)をUTF-8にエンコードした結果を知りたい場合は、

> echo -n 'あ' | nkf -w --numchar-input > hoge.txt

でOK。数値文字参照のセミコロンを忘れないように。

nkfの-wは入力をUTF-8に変換します。UTF-16に変換したい場合は、-w16にすればいいです。

echoの-nオプションは改行を出力しないようにするためのものです。

NKFの--numchar-inputオプションは、Unicodeの「叱」(U+20B9F)とかのサロゲートペアが必要なコードポイントもちゃんと変換できます。

NKFの-wオプションはwの後に続けて, 8, 16, B, L, 0を付加することで変換方法を選べます。