Просто не концентрируйтесь на нем очень сильно. Живите своей жизнью тоже. Ну ляпнул он что-то. Ну и ладно. Все со своими странностями.Ну общается он на работе еще с какими-то дамами. Он имеет право на личное пространство. Если бы он эту даму в дом привел, пока Вас нет или ночевать не пришел - тогда да, нужно уходить. Просто не стоит контролировать всё.