Очень смешной вопрос.Может ничего не мешало и он не отказывали себе в разовых интрижках о которых вам просто ничего не известно.Может другие интересы были. Вы же его удовлетворяли? А человек был весь в проектах и в делах. Может на семье был сосредоточен - это не пожизненное клеймо. Может не подвернулась подходящая, на которую потянуло и которая откликнулась так, чтобы "в нужное время в нужном месте".А может всё это вместе взятое.