En su infancia, Harold Vanderbilt ocupó parte de sus veraneos en las mansiones Vanderbilt: la propiedad "Idle Hour" en Long Island, Nueva York en la ribera del Connetquot River, "Marble House" en Newport, Rhode Island, y más tarde en "Belcourt" (la mansión en Newport de su padrastro, Oliver Belmont). De adulto, orientó sus intereses en las regatas, ganando seis "Copas del Rey" y cinco Copas Astor entre 1922 y 1938. En 1925, construyó su propia y lujosa casa de vacaciones en Palm Beach, Florida a la que llamó "El Solano". La casa es también notable por haber sido comprada por el ex-Beatle John Lennon poco antes de su asesinato en 1980.