質問: 100バイトの固定長がCRLFで区切られて10000000行あります。 4バイト目から5バイト分の組み合わせで行を取得(100バイト+CRLF)しファイル分割したいと考えています。ソート済みとします。組み合わせを作る5バイトはファイル名として使用できる英数とします。 シェルスクリプトやプログラム言語、データベースにロードしてなどではなく、よいツールを探しています。これが最速じゃない?というのを教えてください。 ハードはIAサーバーでPen4の2.8が2つ、RAMは4GB。OSはWindowsかLinuxで。
回答: Yahoo! JAPAN さきほどのデータを実際に加工してみました。 以下のコマンドを実行すると、XEON2.8×2の環境では、30秒ほどで処理されました。 RECCMP INPUT.TXT OUTPUT.TXT (4,5) RECEDT OUTPUT.TXT SPLIT.BAT (C,RECSEL)(S,1)(C,OUTPUT.TXT)(S,1)(4,5)(C,.TXT)(S,1)(C,0x28)(C,4)(C,0x2C)(C,5)(C,0x29)(C,[)(4,5)(C,]) CALL SPLIT.BAT