子孙遂以邑名为氏，称「伍鹿」氏，后改为单姓鹿姓、伍姓等，古时的第五姓后人也多改为伍姓。而成书于清朝的《姓氏考略》更把伍姓的源头追溯到更古老的黄帝时代。书中说到「芈姓，黄帝臣有伍胥，见《玄女兵法》，当为伍氏之始，望出安定、武陵」。根据此一说法，伍姓出自芈姓（为楚国王族的姓氏）。《玄女兵法》中所载，黄帝为部落首领时，其下有一个大臣叫做伍胥，是伍氏的始祖。伍氏究竟因何得姓，史书上未明确交代。「伍胥」在古书中多为伍子胥的简称，「黄帝臣有伍胥说」系为野史的虚构人物。回族中的伍姓，其主要家族为金陵（今南京）伍氏