Я не пойму, а что вы теряете? Он нравится вам, вы нравитесь ему. Взрослые люди. Что значит "заходит от нечего делать"? Мужчины никогда ничего не делают просто так, от нечего делать. Если бы ему нравилась Маша из соседнего отдела, то заходил бы к ней. Но ходит же к вам. А решительные действия боится предпринимать. Он же видит, что вы "его рассматриваете как пустую болтовню". Пофлиртуете, и завяжутся более серьезные отношения. Дайте мужчине "зеленый свет".