おそらく、帰りが遅いだけが原因ではないと思われます。浮気疑惑からの不機嫌な態度かどうかはわかりませんがどのような不安や不満をお持ちなのか原因を探ってみる必要があります。