明代的柔远驿规模相当大，内有前厅、卧房、后厅、后厅夷梢卧房、贰门、贰门夷梢卧房、守把千户房、军士房、大门、天妃宫、进贡厂、控海楼和尚公桥，用于琉球使者商人居住及储存贡品、商品。明末清初时，南明隆武帝将国都设在福州，后来清兵攻破福州，柔远驿在战争中遭到严重破坏，在靖南王耿继茂占据福建期间又作为兵营，琉球来宾不得不与军队同住一处。康熙五年（1666年）琉球国王尚质上奏康熙帝请求恢复柔远驿，康熙准奏并令福建督抚重建该驿，但重建后靖南王的藩兵仍拒绝迁出。三藩之乱中，柔远驿于康熙十三年（1674年）再遭重度损坏，直到康熙十八年（1679年）才由康熙帝下令重建。自此柔远驿一直保持着它的大致面貌，延续到光绪五年（1876年）中琉断交为止。