ここで 「to」 は必要です。なぜなら「to」 は副詞的用法で動詞を修飾しているからです。文法的に正しい文章は「to do」です。しかしこれは会話のため「do」を省略しても理解でき、問題ありません。