Ну вот, пока у вас отношения как на первоначальном этапе - все ок, как только идет разговор о развитии - ни вы, ни он не довольны. И судя по картам, вам не он важен, а наличие семьи и совместного проживания. Собственно, легко сможете заменить на другого, который будет вам приятен и будет не против совместного проживания.