В любом случае ВАМ самой важно постараться ему объяснить. Отмахнуться, попуститься, сделать вид, что ничего не было - не вариант. имхо Все таки вы семья, у вас дети.  И потом...вдруг Вы сейчас думаете о нем хуже, чем есть? Ну бывает, что человек отнесется к чему-то лекогомысленно, а для Вас это важно. Бывает. Поговорите!