Потому что вы смущаетесь и реагируете. Мужик вампирит вас, расцветает от ваших негативных эмоций. И это не "флирт", а попытка в качели. Если вы сделаете шаг на сближение, он тут же сделает два назад, типа "а я что, я ничего, ты всё не так поняла", вы опять почувствуете себя оплеванной. Собственно, ради этого всё и затевается.