質問: 動的なページのスクレイピング まず下記のurl御覧ください。 ... これで「静的なページの」スクレイピングできるようになったはいいのですが、問題はここからです。 ↑このような、「ある程度スクロールすると追加でコンテンツが読み込まれるページ」については、正しくスクレイピングできませんでした。 「JavaScriptを実行させて、変化後の要素を取得する」ためにヘッドレスブラウザ(phantomjs)を使っているはずなのに、これは腑に落ちなさすぎるんですが。。 ググったところ、やっぱり「phantomjsを使う」のは正しい解決法のようなんですが、 (これとか→...) やっぱり追加後のDOM?については解析できませんでした。 JCGのサイトについてはスクロール時に読み込まれるのはjavascriptの仕様ではないのか、はたまたコードがよくないのか... 教えてください。
回答: 実ブラウザ上でスクロールしないと読み込まれないなら ヘッドレスブラウザ上でもスクロールしないと当然ダメです。 phantomjs scrolldown くらいの検索語で調べればコードはすぐわかるでしょう。