Su padre, William Fitzgerald, conductor de tren, abandonó a su madre Temperance (Tempie) Fitzgerald, lavandera, cuando Ella era aún muy pequeña.