韦县（今云南省保山市东北）人。吕凯之子，三国蜀汉、西晋大臣。吕凯去世后，吕祥嗣立为阳迁亭侯。后来蜀汉被曹魏所灭，曹魏又被西晋取代。晋武帝太康年间，吕祥献宝石，得任永昌郡太守。太安元年（302年）后，官至南夷校尉，掌管南中建宁郡（治今云南省曲靖市）、兴古郡（治今云南省丘北县南）、云南郡（治今云南省姚安县北）、永昌郡诸郡军政大权。