Нет.  Если экстраполировать: вы вашего коллегу-гея милым не считаете, и не желаете с ним дружить - вы не гомофоб.  Если вы вашего коллегу-гея призываете признать ненормальным на основании его особенности, думаете, что он непременно на вас сзади нападет и проч. - гомофоб.  Так понятно?