1875年，日本强迫琉球王国停止向清朝朝贡、关闭福州琉球馆，并提出吞并要求，1876年，在琉球和清朝方面交涉无果的情况下，中琉断交，福州柔远驿作为琉球使者驻地的功能消失。1879年日本正式吞并琉球后，日方曾提出日本接替琉球国继承柔远驿作为日本的财产，但被中国方面拒绝。尽管如此，前往福州的琉球人（实际上包括很多日本人）仍继续使用该馆作为在榕的居所。約在日俄戰爭爆發期間，琉球人胡月亭（唐名胡國善、號月亭，和名儀間正忠）兄弟五人來到福州，利用琉球館之地開設太吉茶棧，從事福建與那霸之間的貿易。此外，還有真榮平朝正、真壁朝昭（開設生和商店）等琉球人至福州做生意，亦以柔遠驛一帶為中心。直到1937年7月中日之间爆发战争后，胡月亭才回到沖繩。直到20世纪90年代，原柔远驿逐渐被蚕食缩小至不到原建筑的十分之一。1992年，福州市政府修复了柔远驿，其建筑面积仅剩面积600平方米，作为福州对外友好关系史博物馆，用于陈列福州的海外交流史，包括中琉和中日关系的展品。1996年，福建省人民政府将柔远驿公布为第四批省级文物保护单位。