А вы реально не можете предположить, в чем трудности ваших семейных взаимоотношений? Ведь они есть. Похоже, ваш муж с ними борется, старается о них не думать. Может, причина и не лично в вас. Самое лучшее, на мой взгляд - все же выбрать момент и спокойно поговорить с ним. В доверительном тоне. Может, он сам поймет, что его беспокоит (некоторым и тут нужна помощь со стороны)