作为兵营，琉球来宾不得不与军队同住一处。康熙五年（1666年）琉球国王尚质上奏康熙帝请求恢复柔远驿，康熙准奏并令福建督抚重建该驿，但重建后靖南王的藩兵仍拒绝迁出。三藩之乱中，柔远驿于康熙十三年（1674年）再遭重度损坏，直到康熙十八年（1679年）才由康熙帝下令重建。自此柔远驿一直保持着它的大致面貌，延续到光绪五年（1876年）中琉断交为止。在康熙十八年重修之后的数百年间，各方还曾经数次扩建或修复柔远驿。康熙三十年（1691年）增建了崇报祠。三十一年（1692年），柔远驿因受台风袭击而严重受损，福建地方