Baker nació y fue criada en Hollywood, California, hija de Dorothy Helen Harrington, quien apareció en varias de las primeras películas de los Hermanos Marx y de Clyde L.