时任潮州知州的工涤将其移到潮州城南七里，苏轼为此撰写了《潮州昌黎伯文公庙碑》。直到南宋淳熙十六年（1189年）时任知军州事丁允元认为韩愈在潮州期间常来此地游玩且这里留存有其手植的橡木，韩文公祠应建于此才对，故将城南七里的公祠迁往今址。韩祠存有清代重刻苏轼《潮州韩文公庙碑》、饶宗颐行草录写的王大宝诗文《韩木赞》等古今碑刻。。登上韩文公祠需要三段51＋1＋4共56级石阶，寓意韩愈贬为潮州刺史的时候51岁，在潮州期间有1年，活到56岁。