Grimké blei født i Charleston i Sør-Carolina. Faren var John Faucheraud Grimké, en velstående dommer, politiker og plantasjeeier. Også mora Mary Smith tilhørte en av Charlestons fremste familier. Angelina var den yngste av fjorten søsken.