質問: UrlFetchApp.fetch(topUrl); Logger.log('response="%s".', responsegetContentText()); と、HPの情報取得を行い、取得内容の確認を行いましたが 取得情報が切れてログが出力されている様でした。 (情報量は多めのHPです) 正直ログの問題かUrlFetchApp.fetchの切り分けもできておりません。 ログの上限があったりするのでしょうか? また、そのようなときの対応方法について、ご教授お願い致します。
回答: `UrlFetchApp.fetch()` を使う際、よくあるつまづきですね。 結論から申しますと、**ログの出力文字数の制限に引っかかっているだけ**です。 確か、5万文字だったはずで、以降は切り捨てられています。 ログではなく、**表示 > 実行トランスクリプト** を確認すれば、冒頭で「切り捨てた」旨が表示されています。 (一応、ループで1文字を50001回出力させて確認しました。) データ自体は取得できていますよ。 なお、他者サイトのスクレイピングは個人利用の場合でもグレーなものですので、ご利用の場合は諸々ご注意ください。 (技術的な部分に関して否定はしていませんが、使い方の問題ですね。)