江阴县夏港镇的一个小商人家庭。父亲吴焕若在镇上与人合伙开米店，家境贫穷，父亲死后欠了几百元的债，吴文藻工作以后才还清。五岁时就由姐姐陪伴到一所乡下的蒙学堂上学，后来在江阴城里的礼延学堂上高小，毕业时名列第一。在南菁中学上学一年后，在老师的推荐下投考清华学堂，在16岁也就是1917年成功考入清华学堂。1919年五四运动爆发时，吴文藻也参加了清华的游行活动。五四运动后，广泛接触了罗素、杜威、孙中山和胡适等人的思想。在这个时期梁启超对他的影响最大。吴文藻在清华学堂时与梁思成是同班同寝室同学，并且在梁思成的