Я вижу проблему в поведении мужа. Он противопоставляет себя, естественно, хорошего, с детьми, естественно любимыми, и вас, нерадивую. То есть вы оказываетесь как бы за пределами семьи. Вас обесценивают постоянно - "мы и так проживем", "нам и так хорошо". А это больно.