国民政府的首任行政院长谭延闿、总统府资政俞大维的父亲俞明颐等人。吴镜渊于民国初年创办纺织厂，是上海知名常州籍纺织工业实业家及资本家，为中华书局创办人之一，吴镜渊笃信佛教，对子女管教甚严。母亲是诸慧芳。吴舜文从小在家自学。1925年，被送往常州教会学校小学就读二年级，翌年入读上海中西女中第二附属小学三年级并住校；1928年直升中西女中，被要求按规定时间作息。受其父亲开办书局影响，吴舜文热爱涉猎丛书。她自述因性急拿到书本后往往非得读完才愿放手，养成其嗜好读书之习惯。就读中学后，曾为避免其母发现她没有在看