Debido al pobre juego realizado por los Braves en sus dos últimos años (30-52 en 1976-77 y 27-55 en 1977-78), junto con los rumores de trasladar la franquicia a causa de la pobre venta de entradas, Brown negoció con él por entonces propietario de los Celtics, Irv Levin, hacer un intercambio de franquicias, por lo que Brown tomaría el mando de los Celtics y Levin de los Braves.