杨广香是442年被南朝宋推翻的仇池首领杨难当的族弟。魏军在477年十二月杀了据守葭芦（今甘肃武都县东南）的仇池首领杨文度后，杨广香自立为“阴平王”或“阴平公”，都阴平。杨文度之弟杨文弘奉表向魏谢罪，魏以文弘为南秦州刺史、武都王。479年中，杨广香向南齐请降，齐以广香为沙州刺史，480年改授他为西秦州刺史，又以其子杨炅为武都太守。杨广香在481年去世后，其部众有一半归附杨文弘，另一半则投靠南齐梁州刺史崔慧景。