質問: Ubuntu 19.04 メモリはGCEを使うので64GBぐらいまで使えます。
回答: Jupyterとかなら起動中はメモリに載せっぱなしというのもできますが、毎回プロセスを立ち上げ直すのであれば「無理」です。 ということで代替案ですが、以下の2つくらいでしょうか。 * そのデータをto_pickleで吐き出すときに圧縮しておけば4GBが300MBくらいにはなるかもしれません。そうすると3.7GB分のファイルI/Oのコストが浮き、代わりに解凍のコストが生じます。一般的にファイルI/Oは圧縮データの解凍より高コストなので、差し引き黒字になると思います。試す価値はあります。 * システムにRAMディスクを作っておいて読み込みたいpickleをそこに置くという手があります。SSDと比べても数桁高速なので、それくらい速くなるかもしれません。