自汉世，祀以干鱼，不知果何神也。今建宁府崇安县南二十余里，有山名武夷，相传即神所宅。”朱熹引用《史记》记载，汉武帝曾以干鱼祭祀武夷君。朱熹认为武夷君应该也是一个隐士，“盖亦避世之士，生为众所臣服，没而传以为仙也”。当地传说，武夷君原先是闽越的一位在地贵族，为了离开政治斗争的纷扰，率领军民以武克夷，来到武夷山开拓，为民所重，人称为「武夷王」。后用心修道，颇显灵蹟，物化之后，民人缅怀而祀香火。此说与朱熹说法大致相同。《武夷山志》说法，彭祖长子彭武、次子彭夷到武夷山开垦，两人打败妖怪、招安当地的夷人，于是