明代时，柔远驿的规模已经较大，共有前厅三间、两边卧房六间、后厅五间、两边夷梢卧房二十七间、贰门三间、两边夷梢卧房六间、守把千户房两边十间、军士房二间、大门一间另外还有附设一座天妃宫用于祭祀妈祖女神，一所进贡厂用于存储、检查和加工贡品和商品，另外还有控海楼和尚公桥建筑。清代的柔远驿在康熙十八年（1679年）的重修之后，建有大门、仪门，两侧有厢楼各十一间，另有一座视馆公署建于仪门外，一座三小间大小的天妃宫祠堂在厅后。此外在康熙和道光年间分别增建了崇报祠、小四间和土通事公馆，其面积不小于6000平方米。