Es wird vermutet, dass hier schon in vorchristlicher Zeit eine heilige Stätte bestand. Der Pashupati-Tempel wurde erstmals im 5. Jahrhundert errichtet und – nach Zerstörungen im Jahr 1343 durch Shamsuddin Ilyas Shah, dem späteren Begründer des Sultanats von Bengalen – unter der Malla-Dynastie (1201–1769) erneuert. Beim Erdbeben des Jahres 2015 fielen einige kleinere Nebenschreine in sich zusammen oder wurden beschädigt.