Вам не о чем беспокоиться. Задайте себе вопрос "лишаю ли я физически его жизни?", "угрожаю ли я его безопасности физически?"Когда Вы сама себе даете нейтральный ответ, то и реакция Ваша на просьбы о встречах желательна такая же нейтральная. У Вас не тот уровень отношений, чтобы человек без вас от одиночества умирал, у него что-то другое с головой