Однозначно бы не заморочилась на эту фразу. А если вам кто-то сальную скабрезность на улице скажет, выходить из дома перестанете? Это проблема у коллеги налицо, и вы не должны его заморочками себе жизнь усложнять. На его эту фразу я бы брезгливо ответила что-то из серии "Вам вообще больше не о чем думать? Может  поделитесь своими фантазиями с ИванИванычем, а то он думает, что ваша голова забита исключительно проектами (или чем там этот коллега занимается?). А вообще в похожей ситуации барину из анекдота рекомендовали жениться..."