Ternan ble født 3. mars 1839 i Rochester i Kent. Hun var den tredje av fire barn, inkludert en bror som døde som spedbarn, og en søster ved navn Frances (som senere ble Thomas Adolphus Trollope sin andre kone). Faren hennes var Thomas Lawless Ternan og moren hennes var Frances Eleanor Ternan, begge var skuespillere. Ternan debuterte på scenen i Sheffield som treåring sammen med to av søstrene. Ellen ble sett på den av søstrene med minst skuespillertalent, men jobbet veldig mye ute i provinsene, spesielt etter at faren hennes døde i oktober 1846, på Bethnal Green asyl.