Ну понятно, на работе вы компенсируете. Часто бывает что тихие мужики на работе, дома агрессоры и самодуры.  Вы пока сами не поняли, нужен вам развод или нет, вы сами с собой разберитесь для начала, а потом уже мужу сообщайте. С детьми будет трудно, тем более младший ребенок совсем малыш.