質問: ブラウザリクエストを偽造するためにpythonリクエストを使用する方法 以下のwebサイトからコンテンツを入手したいです。 firefoxやchromeなどのブラウザを使用すると、実際のwebサイトページを表示できますが、それを取得するためにpython requestパッケージ(またはwgetコマンド)を使用すると、まったく異なるhtmlページが返されます。私はウェブサイトの開発者がこれのためにいくつかのブロックを作ったと思ったので、質問は以下のとおりです。pythonのリクエストやコマンドwgetを使ってブラウザにアクセスしないようにするにはどうすればよいですか? http://www.ichangtou.com/#company:data_000008.html
回答: firefoxを偽物として使用してこれを試してみてください ユーザーエージェント (さらに、クッキーを使ったwebスクレイピングのための良い起動スクリプトです):#!/usr/bin/env python2 # -*- coding: utf8 -*- # vim:ts=4:sw=4 import cookielib, urllib2, sys def doit(uri): cj = cookielib.cookiejar() opener = urllib2.build_opener(urllib2.httpcookieprocessor(cj)) page = opener.open(uri) page.addheaders = [('user-agent', 'mozilla/5.0')] print page.read() for i in sys.argv[1:]: doit(i) 使用法:python script.py "http://www.ichangtou.com/#company:data_000008.html"