Con la llegada del "swing", la popularidad de Whiteman fue decayendo hasta que en los años 1940 se retiró para llevar la dirección de la American Broadcasting Corporation (ABC).