Первая мысль - пока вы сами его не оттолкнете и не отпустите, так и будете мучиться, причем не только Вы, но и Ваши близкие (которые тоже чувствуют Ваше эмоциональное состояние). А человек этот Вам не нужен. Вам нужно поскорее это понять и принять.