西貢條約
在法國勢力進入越南之際，潘清簡主張同法國談判。嗣德十五年（1862年），越南同法國簽訂《西貢條約》，潘清簡在其中扮演了重要角色。法國剛剛派人要求和談時，潘清簡便與林維浹自請出任議和正副使。在《西貢條約》中，越南將被法國佔領的嘉定、定祥、邊和以及崑崙島割讓給了法國，並向法國賠款400萬銀元。消息傳到順化朝廷，嗣德帝下旨切責潘清簡、林維浹二人，改潘清簡為永隆總督，繼續與法軍交涉。不久因未能改變條約內容，潘清簡遭革職留任處罰。自此，潘清簡的影響力大為下降，不僅為越南百姓所唾駡，也受到了嗣德帝的疏遠。