Ellen Key ble født i Gladhammars prestegjeld utenfor Västervik, og var datter av riksdagspolitikeren Emil Key (1822–1892) og grevinnen Sofia Ottiliana Posse (1824–1884). Hun vokste opp på Sundholms herregård i sørlige Tjust. Hun er en del av adelsslekten Posse, og Moren var søskenbarnet til statsminister Arvid Posse. Som barn fikk hun hjemmeundervisning av guvernanter før hun begynte i konfirmasjonstimer hos søstrene Åhlin og ved Rossanderska pikeskolen i Stockholm. Ellers var hun selvlært, og skaffet seg utdannelse blant annet ved å fordype seg i foreldrenes store herregårdsbibliotek.