質問: ここで書くのもどうかと思うのですが、ご教示いただけないでしょうか。 pythonでたまにタグ、クラスを指定しているのにそのクラス内のテキストを取得できないときがあります。requestによるスクレイピング時です。値はNoneが帰ってきます。 VBAでIE起動によるスクレイピング取得はできるので、単純にスクレイピング対策なのでしょうか。 対象は、アマゾンの商品検索一覧ページです。商品価格を取得できません。 また、スクレイピング対策されているとは具体的にどのように判別したら宜しいのでしょうか。
回答: ご教示いただき、ありがとうございます。 動的なページだったのですね。ありがとうございます。html解析の件、かしこまりした。解析してみますが、動的となりますと、request等一般的なスクレイピングは不可能に近く、sleniumなどでブラウザドライバを介して取得するしかないと思うのですが、いかがでしょうか。 動的、すなわちjavascript遷移でしたらjavascript遷移に特化したスクレイピングをするしかないということでしょうか。