Меня бы такая ситуация сильно разозлила. И было бы крайне неприятно услышать такое от коллеги. Сочла бы за херрасмент. От мужа такое слышать (то что вы услышали) было бы еще неприятнее и крайне обидно. Считаю, что ваш муж не прав, как минимум, он должен был разделить ваше чувство негодования и неприязни.