У вашего мужа просто давно любовница. Не исключено что сразу после вашего брака, может даже было до брака. Вы может ему подошли как жена, она к примеру не собиралась вообще замуж или не хотела замуж за вашего мужа, но как лю он ее устраивал. Поэтому секс у него всегда был с любовницей, потом может с другой, но не с вами. В принципе вы же тоже имеете секс на стороне, все всех устраивает.