Ella Baker werd geboren in Norfolk in Virginia. Ze werd opgevoed door haar ouders Georgiana en Blake Baker en zij verhuisden in 1910 naar Littleton (North Carolina). Ze studeerde aan de Shaw University, een zwarte universiteit. Na haar afstuderen verhuisde ze naar New York. In New York ging ze aan de slag als redacteur. In de jaren '30 raakte ze betrokken bij het politieke en culturele milieu in Harlem en protesteerde ze tegen de Italiaanse invasie in Ethiopië.