Как вариант, в молодости он все свое свободное время посвящал работе-науке-спорту-друзьям, а красавицы-жены страдали от скуки. А раз красавицы, то всегда могли найтись и те, кто начнет их развлекать)) Вот они находили более лучший для себя вариант и уходили. Плюс, в молодости, может у него и доходы не такие были, как сейчас, находили более богатых.