Ну я б с братом также. Жена-то ни при чем. Не все могут жить с чужим ребенком, который будет бесить самим фактом существования. Зачем навязывать жене и делать из нее  злую мачеху поневоле. А вот брат - да, должен. Взять и жить отдельно с дочерью, если жена не принимает.