Если семейный и начальник... Может побаивается, не уверен, что и с вашей стороны будет "ничего серьезного". Не хочет сложностей на работе. Да, был бы не против, но гадить на работе не очень хочется без особой необходимости, если уж и изменять жене, то и вне работы вариантов куча найдется.