質問: 8M程度のcsvが圧縮されているgzファイルがあるのですが、これを読み込んでDataFrame化したいと考えています。 まずgzファイルをLhaplusで解凍する際に、ファイル形式を「すべてのファイル」に指定して保存するのですが、エクセル形式になってしまいます。 格納されたcsvファイルを開いてみると、excel形式でのものになっているからなのかデータの一部しか表示されておりません(9万7千行8列)。 このファイルをf=pd.read_csv('test.csv')で取り込んで可視化してみても、明らかにデータ数が少ない感じです。 Lhaplus以外ではきちんと解凍されるようなのですが、会社のPCなのでaplインストールに制限があります(かつPCは32bit・・・)。gzファイルからそのままdataframe化できればよいのかもしれないのですが、調べてもよく理解できませんでした。 Lhaplus以外の解凍アプリを入れるしかないのでしょうか。 お手数ですが、よろしくお願い致します。
回答: > > まずgzファイルをLhaplusで解凍する際に、ファイル形式を「すべてのファイル」に指定して保存するのですが、エクセル形式になってしまいます。 > > > 解凍ソフトの違いによって解凍データが異なることは通常は考えにくいです。 解凍されて生成された`test.csv`の拡張子`.csv`が`Excel`に関連付けられているので「エクセル形式」に見えるだけだと思われます。 提示されたデータ先頭部分 ``` #RIC,Alias Underlying RIC,Domain,Date-Time,Type,Last,Close Bid,Close Ask JPY3M=,,Market Price,2006-12-31T15:00:00.000000000Z,Intraday 1Hour,,-140.7,-140.2JPYTN=,,Market Price,2006 ``` から、実際はちゃんと**comma(character)-separated values**(CSV)形式だと思われます。 > > このファイルをf=pd.read_csv('test.csv')で取り込んで可視化してみても、明らかにデータ数が少ない感じです。 > > > 読込結果を`print(f)`などで表示すると、データが大量にある場合は省略表示されます。 実際に読み込まれた行と列の数は`len(f.index)`および`len(f.columns)`で確認できます。