永隆人，明命十四年八月二十九日（1833年10月12日）出生，父亲是阮朝重臣潘清简。嗣德二十年（1867年），法国军队入侵南圻西三省，潘清简绝食而死。次年（1868年），潘帘和弟弟潘荪（原名潘清荪）在永隆招集义兵，反抗法国入侵。潘帘不敌法军，后退入平顺省，跟随阮知方前往北圻河内。嗣德二十六年（1873年），法军攻佔河内，潘帘兄弟被抓。次年（1874年），越法签订《第二次西贡条约》，潘帘兄弟被法军释放。随后奉诏前往京城顺化。潘帘在顺化期间，和范富庶、裴殷年交往密切，凭借文采显名。后被任命为翰林院修撰。