Зачем сами себя обманываете? Как присутствие этого человека может мешать вам устраивать свою жизнь? Никак. Вы просто придумали причину, почему  не получается это сделать По факту вы просто боитесь его потерять и именно это вам и мешает, а никак не его мысли, слова или действия.