質問: Python、Cloud - スケジューリング機能を備えたオンラインWebスクレイピングツール 私は次のことをするpythonを使ってWeb/cloudアプリケーションを開発する予定です: 1. Perl/Pythonスクラップスクリプトをアップロードして実行します。 2.スケジュールで実行するアップロードされたスクリプト 3.異なる入力パラメータで同じスクリプトの複数インスタンスを実行します。 4.スクリプトのパフォーマンスを測定します。 5. View Scripts標準出力/ログ。 私は、自分の要件を満たすことができる技術について、限られた知識しか持っていません。 ヒント、ポインタ、既存のアイデア、ライブラリ、オープンソースの実装などが評価されます。 おかげさまで、 Rajesh。
回答: 作業の基盤としてScrapyを使用してください: アップロード、スクリプトのパフォーマンスと出力(Webインターフェイスを介して私は仮定します)では、あなたがそれを探索することができるデータベースにこの情報を格納するカスタムWebフロントエンドを書く必要があります。これの1つのオプションはPyramidです: http://pypi.python.org/pypi/pyramid/ Pythonクラウドの展開については、Herokuを参照してください。 http://www.heroku.com/