上有三兄一姊，下有一妹。按照常州吴族家谱排行，吴舜文与堂房姐妹为「柔」字辈，吴舜文称为「怀柔」，因为她出生时正值酷寒严冬，出生时一开始没有生命征兆，她父亲将她裹进自己温暖的狐狸袍里，耐心地呵护将她从生死边缘救回。父亲吴镜渊曾任清朝末期湖南候补知县，孙中山掀起革命狂潮，武昌起义成功，与吴镜渊有同僚之谊的知名人物有：武昌起义的云南都督蔡锷、国民政府的首任行政院长谭延闿、总统府资政俞大维的父亲俞明颐等人。吴镜渊于民国初年创办纺织厂，是上海知名常州籍纺织工业实业家及资本家，为中华书局创办人之一，吴镜渊笃信佛教，