Guge ble grunnlagt på 900-tallet. Det hadde hovedstedene Tholing og Tsaparang. Grunnlegger av kongedømmet var en etterkommer av Glang Darma, den siste konge av det tibetanske kongedømmet Tubo. Denne kongens eldste sønn ble hersker over Mar-yul (Ladakh), og to av hans sønner regjerte i det vestlige Tibet de områder som ble kongedømmet Guge og Pu-hrang. På 1000-tallet åpnet kongene for buddhismen.