Después se casó con Marie Norton Whitney, quien abandonó a su esposo Cornelius Vanderbilt Whitney para casarse con Harriman.