На вашей семье это как— то отражается? Не уделяет внимания, агрессивен с вами, постоянно уставший и т.п. Если все у вас в остальном хорошо — забейте, это конечно ничего хорошего, но супер ужасного тоже не вижу. Ваше дело, как реагировать, не сможете с этим жить — разговаривайте и разводитесь, если вас это не сильно задевает вас огорчает, можете промолчать или просто поговорить, установить порядки. Вам решать, как вы себя чувствуете в этой ситуации?