Так шлите его уже к жене)) Если у Вас была к нему страсть, любовь, а сейчас этого нет. Более того, Вы написали, что материальных выгод от отношений не ждали и не ждете. В чем для Вас сейчас проблема? Любили - были рядом, надоел - в сад. Хотите роли любовницы, открытым текстом говорите ему об этом.