Если на данный момент с учетом обстоятельств с ним вам все равно лучше, чем без него, то пусть остается пока. Только озвучьте новые условия. Что раз семьи вы с ним строить не собираетесь, а состоите в необременительных отношениях для секса и взаимного удобства, то стирать, гладить, готовить и обхаживать как мужа вы его больше не собираетесь. Себя обслуживает сам, уборка вместе, готовите по очереди, в закупки, расходы на квартиру пополам или его доля бОльшая, учитывая, что вы ему предоставляете жилье. Ну и в общем ведите себя без драмы, а пофигистически, дружелюбно-равнодушно, делайте все как вам удобно. Не надо выяснений отношений, демонстраций как вам больно и обидно. Когда он увидит, что вам вроде не больно то и хотелось и ощутит разницу в отношении, возможно сам начнет извиняться и упрашивать вернуть все как было. Либо уйдет - зато сомнений уже не останется в его истинных чувствах.