「You can't be serious」と「You are not serious」の意味は異なります。 「You can't be serious」とは「What you're saying is ridiculous（何バカげたこと言ってるの）、本気じゃないよね？、冗談でしょう？」という意味で、誰かが言っていることに対して不信感を表しています。「You are not serious」は誰かを本気ではないと非難している表現です。「You are not serious」はあまり使用せず、 「You are not serious about (something)」とよく使用されます。
例：
A: I'm going to go skydiving this weekend even though I'm afraid of heights. （私は高所恐怖症ですが、今週末にスカイダイビングをしに行きます。）
B: You can't be serious. （本気で言ってるの？）
例：I can tell you are not serious about school because you receive bad grades. （悪い成績をとって、あなた不真面目ね。）