Зря не говорите. Чтоб вас хоть как-то отпустило, надо посадить его, и все рассказать, и какой из вас вырос человек, и что "сексуальной жизни у вас нет", чтобы не нести это бремя тяжести одной. Если это абсолютно невозможно, то напишите ему письмо, и не перечитывая сожгите.