Да бросать его надо. Через "люблю" и через "не могу". Потому что тупиковые это отношения и потому что потратите Вы на них свои силы, чувства, ВРЕМЯ, а в итоге не получите ничего, кроме разочарования и опустошенности. Вспомните о себе. Берегите себя! Вы хотите того, чего ЭТОТ человек Вам не даст.