Позвоните бывшему, и скажите, что вы к нему нормально относитесь, ненависти не испытываете, но дружить домами не хотите. Если спросит почему, скажите, что не хотите объяснять почему. И вежливо попросите не лезть к вам. Если он нормальный отстанет, если неадекват придется жестко рвать отношения.