成泰四年正月五日（1892年2月2日）出生，父亲是福安巡抚潘继进。潘继遂从小学习儒学，后来随父亲到河内，学习西学。他凭借父荫进入河内候补场学习。在河内学习期间，他结识了裴杞、等人。维新五年（1911年），因为父亲在殖民政府做官的关系，潘继遂被送往法国巴黎留学。在巴黎留学期间，潘继遂遇到了化名为阮必成的老朋友阮生恭，他想帮阮生恭註册入学，但最终未能成功。维新八年（1914年），潘继遂学成归国，被任命为河静省香山知县。启定二年（1917年），升任福安省东英知县。次年（1918年），改任太平省舒池知县。启