Вы, автор, правильно напрягаетесь. Для меня это маркер. И сейчас, имея жизненный опыт, ощутив от человека пару "звоночков", я общение сворачиваю. И не пытаюсь выяснить причины "а зачем он так поступает, а что это значит, а что он имел в виду" - мне  уже не интересно.Вам могу предложить причины на выбор: он хамло, не уважающий чужие границы; он вас дрессирует; это попытки вами манипулировать; это необязательность (такие люди могут выйти за сигаретами и пропасть лет на 10); поднимает себе самооценку таким незатейливым образом (у мужиков это целые ритуалы, типа кто первым протянет руку для пожатия, кто первым отведет взгляд, кто командует, а кто подчиняется). Меня бы ни один вариант не устроил для дальнейшего общения.