クローラが普通に失敗することがある

失敗したものだけをクロールするオプション
何回か連続で失敗したものを失敗していると表示するように
クローラのもろもろを見直し