明中叶（15世纪末）之前，因为琉球至中国间交通以直航福州港最为便捷，加之从事中琉贸易的人员很多是明初移民到琉球的福州河口人，因此前往中国的琉球人往往先在福州停靠，再前往福建市舶司所在的泉州，其时福州官方在城东南水部门外的河口地区设有廨舍，专供琉球人临时休息，福州民间称之为琉球馆。明朝初期的永乐三年（1405年），明成祖就在泉州建立附属于福建市舶司的来远驿，专门用于接待琉球人。但因为琉球使者和商人的船只多在福州靠岸停泊，明朝就于成化八年（1472年）在福州设立怀远驿以接待琉球人，其地址就在水部门外的河口地区的原琉球馆附近，并废止泉州的来远驿，成化十年（1474年）（一说成化五年）明朝将福建市舶司移至福州。明朝万历年间为区别于广州的怀远驿，朝廷将福州的琉球馆更名为柔远驿，取自《尚书·舜典》中的“柔远能迩”，寓意“优待远人, 以示朝廷怀柔之至意”。