Наверное, поговорить с ним по душам, объяснить свою позицию и дать добро на отношения на стороне (только с условием полного благополучия брака). Есть много замужних женщин, которые бы хотели такого партнера для интима (женатого, чтобы не иметь по отношению к нему обязательств).