Сложность именно в том что он ваш коллега. Вы  уже  намекали тактично что он не нужен-не понимает. Остается его грубо отшить. Но тогда на работе  у вас будет глубоко обиженный на вас человек, это тоже не подарок. Не обращайте вы внимания на его надутое лицо. Если намеков не понимает значит совсем дурак. У вас на работе есть подруга? постарайтесь быть  с ней в столовую на обед ходить. А этому выдумайте что вы записались на курсы йоги и что сейчас вы там учите такую фазу чтоб обходится без мужского окружения , чтоб он пока за ваш столик не подсаживался.