Вариантов много. Может боится, что сплетни до ушей жены дойдут. Может он вообще считает неприемлемым для своей репутации или жизненной позиции такие намеки и разговоры по отношению к себе. .А может...)))) что тоже очень вероятно, ему неприятно, что в любовницы приписывают именно вас. Может, если б приписали другую - он бы и пошутил и тему развил.