Может он просто боится новых отношений? Возможно было очень больно расстаться с прежними отношениями и он интуитивно сторонится новых, но любит вас. На такого мужчину нельзя давить. Постепенно приручить его и ждать, пока он САМ скажет "я хочу быть с тобой". Но это только если вам подходит вариант "ждать". Если нет, тогда выясните отношения раз и навсегда, расставьте все точки над "ё". Слова "отношения", "связь", "любовь" можно не произносить в разговоре. Вопрос может быть таким, например: "Ты хочешь быть со мной?" Ответ один: или "да" или "нет".  Не может быть, чтобы он вас не выслушал. Не ответит, значит не придаёт значения вашим чувствам и ни во что вас не ставит (вам такой нужен?), значит не стоит с ним дальше видеться. Вы спрашиваете про "оборвать отношения". А они есть, эти отношения? Если есть, то вам же самой они нужны. Если нет, то и обрывать нечего.