質問: accessでの大容量データインポート 2.6gもある大きなデータベースをテキストファイルでもらったので、エクセルでは開けないのでaccessを使おうと思い、ファイル-外部データの取り込み-インポート で取り込もうとしたら、「ファイル<ファイル名>にはデータが含まれていません。」とエラーメッセージが出てしまいます。それで、テキストエディタでこのファイルを先頭の容量の限界まで読める分だけ読み込んでそれをそのまま保存して、同様にaccessで読み込もうとすると今度は成功します。だけど、これでは元のデータの1%くらいしか読めません。何で、データは確かに存在しているのにこのようなエラーメッセージが出るのでしょうか。どなたかわかる方がいらっしゃったら教えてください。
回答: #2です。 >やりたいことは、その中から分析に必要な1000万行と4列のデータを取り出すことで この程度なら大騒ぎをしないで、vb(vbaが手軽)プログラムで、 テキストファイルを読むー多分splitで項目に分離ー列(項目)に関する条件(決った列だけと思うが)+行に関する条件(指定値より大であるものとか、3つおきにデータを拾うなど)ー新しいファイルに書き出す を繰りかえせば良い。 かかる時間については数千万レコードは時間がかかって使い物にならないかどうか、やった経験も無くわからない。 プログラムそのものは十数行で済むだろう。 web(googleなど)にでも、 テキストファイルを開く vba テキストファイルを読む vba split vba csvファイルを書く vba などでコード例が出ると思う。 色々やり方はあっても、全体使用(処理)時間的には、この質問の場合の問題程度では、シーケンシャルファイルを読むのが一番処理時間が少ないはず。 ーー 常識的にはデータをもっと減らしても分析結果に影響しないのでは。 画像データや動きのあるものを記述するデータでなければ、分析にそんなにデータ数は要らないとおもうが。