Откуда такая информация про "большинство"? Большинство как мне кажется как раз и не против. Это нормальное желание. Другое дело, что большинство обычно стоит перед  выбором: либо семья либо другие женщины. А если выбора не стоит и жена интересуется этим без сковородки в руке, почему бы нет? Как раз странно если бы не хотел.