Это надо не критиковать, а обсуждать.Вы повели себя как капризная пила.Надо было сказать "знаешь, нам надо серьезно поговорить. Дети стали подростать, им все больше нужно общение с тобой. Нельзя ли что-то придумать с твоей работой, чтобы ты мог быть дома пораньше? Может, есть вариант поискать другую работу,  с другим графиком?".Ну и из того, как он вам ответил, сразу видно что он вас совсем не уважает, вы для него личностью не являетесь и голоса не имеете.