Мне кажется, вы чем-то неосознанно дали ему понять, что он вам неинтересен.  Или еще вариант, мужик просто смотрел на вас, а большего не хотел, когда понял, что вы заметили его интерес, стал его прятать.  У самой сейчас такая ситуация, тоже интересно.  Наверное "я ему просто не нравлюс" .