Ну вы сами все понимаете и принимаете. 5 лет "общаетесь" "тепло". Никаких обязательств у него перед вами нет. Вы можете уехать в отпуск без него. Он может поехать с кем-то без вас. И при этом вам об этом рассказывать, зная, что вам неприятно.