He divorced her in 1928, and about a year later he married Marie Norton Whitney, who had left her husband, Cornelius Vanderbilt Whitney, to marry him.
Впоследствии женился на Мэри Нортон Уитни, которая оставила своего мужа Корнелиуса Вандербильда Уитни, чтобы выйти замуж за Гарримана.