質問: PHPでスクレイピングをしているんですけど、「もっと見る」「続きを読む」などのボタンを押さないと表示されない要素はどうやったらスクレイピングできますか? ※要素の検証をしても、最初は存在しません http://lineq.jp/my/1110877/answer このページの回答をすべて取り出してみたいです!
回答: おそらくphpでは難しいんではないかと思います。 ブラウザのもっと見るなどはclickなどの動作を擬似的に行わなくてはいけないです。 もっと見る系のscrapingで有名ドコロは nodejsを使用して行うphantomjsというのが有名です! もしくは、もっと見るボタン(id="loadMore")をおした時のjsの挙動を拾っていって、 ajaxのmethodを見つけてそこに直接投げる的な感じでもありだと思います。 ただ、クロスドメイン制約があるので無理かもしれないですし、アクセス元のドメインも偽装できる可能性もあります! それは各scrapingのライブラリによるのでなんと持って感じです! 一番オーソドックスなのはやはりphantomjsだと思います!