Ritter ble født 14. februar 1902 i Brooklyn i New York City. Hun var datter av den nederlandske immigranten Charles Ritter og skotske Lucy Hall. Ritter var interessert i skuespill og opptrådte på teater som barn. Hun startet en skuespillerutdannelse på American Academy of Dramatic Arts i 1922, men måtte slutte på skolen for å arbeide.