O’Connor ble født den 25. mars 1925 i Savannah i Georgia som det eneste barn av Edward F. O’Connor og Regina Cline. Hun beskrev seg selv som «et barn med musefletter og skrånende kinn og la-meg-være-eller-jeg-biter-deg-kompleks». Da O'Connor var seks år fikk hun sitt første møte med å være kjendis. Filmavisen Pathé News filmet «Lille Mary O'Connor» og hennes opptrente høne, og viste filmen rundt om i USA. Hun sa at «Da jeg var seks hadde jeg en høne som gikk baklengs og var på Pathé News. Jeg var også med sammen med høna. Jeg var der bare for å støtte den, men det var høydepunktet i mitt liv. Alt siden har vært et antiklimaks.» I 1937 ble hennes far syk med lupus, en autoimmun bindevevssykdom, og førte til at han døde den 1. februar 1941. Den 15 år gamle Mary Flannery var knust av sorg.