学年龄时，其舅父殷怀濂将其接到家中，延请塾师，令其与表兄弟们共同学习。吴宗濂于光绪二年（1876年）入上海广方言馆，后来又入京师同文馆，学习法语和俄语。毕业后，出任京汉铁路局法文翻译。后经总理各国事务衙门保奏，候选中书科中书，擢同知府候补道，不久便调入外务部。光绪九年（1883年），随李鸿章赴俄国签订中俄边界条约。光绪十一年（1885年）起，任驻英国和驻俄国使馆翻译。光绪十六年（1890年），任驻英国钦差大臣龚心湛的随员。当时，吴宗濂着《随轺笔记》，内中记述了孙中山在伦敦蒙难的事件，并对西方文化介绍得十分详