Без трусов оставить- это эмоции, очень понятные и оправданные, естественно. То это тупик. Попробуйте подумать в сторону как сделать себе лучше, а не ему хуже. Переложить часть ответсвенности, детских, бытовых дел на него? Брать няню?  Освободить больше времени для новой работы? Обычно в устоявшихся семьях это проходит со скрипом, но в данном случае на чувстве вины можно сыграть. Также в такой ситуации хорошо с себя ограничения снимаются. Вы сами чего хотите? Что Вы себе не разрешали в семейной жизни?