આ મંદિર બનાવવા અંગે અલગ અલગ પ્રકારની માન્યતાઓ છે. ઘણા લોકોનું કહેવું છે કે આ મંદિર અંદાજે છ હજાર વર્ષ પહેલા બનાવવામાં આવ્યું હતું, અને ઘણા લોકોનું એવું કહેવું છે કે આ મંદિર બાર હજાર વર્ષ પહેલાં બનાવવામાં આવ્યું હતું. પરંતુ હજી સુધી કોઈ પણ વ્યક્તિ આ મંદિર કયારે બન્યું છે તેનું અંદાજો લગાવી શક્યું નથી. કૈલાસ મંદિરની રચના કોઈપણ જાતના સિમેન્ટ કે ચૂનાનો ઉપયોગ કર્યા વગર જ બનાવવામાં આવી છે. આ મંદિરને એક મોટી એવી ચટ્ટાન માંથી કોતરીને બનાવવામાં આવ્યું છે.