Да не хотел просто ваш муж второго ребенка, потом сдуру дал на него согласие, а сейчас об этом жалеет. Отсюда и нежелание/неумение самому остаться с детьми хотя бы ненадолго и нападки на вас. С его точки зрения вы получили то, чего добивались, да еще чем-то и недовольны.