版本中并没有仙人的形象，而在其后的版本中开始出现，并取代五羊成为传说中的主体形象。这与南北朝道教开始兴盛有关联。 唐代以降，“五羊”、“羊城”逐渐成为古时广州城的代称，可见传说在当时的影响。据唐代传奇故事中描述，唐代广州城隍庙已经祭祀五羊。最早可能在南汉时期已经在传说中五仙降临之地筑有五仙观，祭祀五仙。北宋政和三年经略使张励在一次重修五仙观时所撰的《广州重修五仙祠记》中完整地记载了五羊传说，并说明五仙观是广州人为了供奉五仙而在其降临之地修建的。《重修五仙祠记》中引用《南越岭表游记》和《图经》的记载，故事