Какая разница, любите ли вы его? Вы не хотите с ним жить, значит для брака он не подходит (вам лично). В браке надо жить вместе  обычно. Ну и когда дети, тоже надо вместе быть много. Он может быть постоянным любовником, но выходить за него замуж и рожать детей не надо. Пока (если) не захотите именно быть с ним рядом много.