クローリングされないのはどのようなサイトですか？
クローラーに対する巡回優先度を伝えていないサイトであったり、クローラー対策の設計が出来ていないケースなどが該当します。クローラーがうまく巡回できるような設計が必要です。