Schwab era un gran especulador, posteriormente arruinado en el Crac de Wall Street de 1929. Murió relativamente pobre diez años después, en 1939, legando el insostenible "Riverside" a la Ciudad como posible (y ostentosa) residencia oficial para los Es probable que el alcalde anterior, Jimmy Walker, hubiera aceptado la propuesta, pero, desafortunadamente para la mansión, Fiorello La Guardia, el entonces alcalde, era contrario al traslado, y lo rechazó diciendo: "¿Cómo? ¿Yo en "aquello?""