后因功升侍讲，领定祥商办省务，不久因病辞官回乡。嗣德十四年（1861年），法军佔领定祥，潘显道被法军抓获，但随后又被释放回乡。潘清简上疏请求追究潘显道从贼之罪，嗣德帝下令部议。潘显道听说此事，到其父亲墓前自缢身亡。部议也请求追究此事，随后嗣德帝再令永隆、安江二省访察此事。嗣德十六年（1863年），越法议和。十月，隆、江二省上报访察结果。潘显道被法军抓获后，被许以督学一职，但他以有病而辞，随后被释回乡。在家期间，潘显道穿戴西洋服饰，与法军来往。部议认为，潘显道虽然没有投降，但仍然与法军来往，也应该追夺职衔