ну он мог бы и прогнать, сказать давай переезжай к маме. А ведет себя как человек который вынужден жить с неприятным ему человеком. Подозреваю что мы знаем только часть рассказа. Там возможно и до рождения ребенка нелады были, и вовсе не из-за любовницы.