En efecto, en el siglo XVI los musulmanes de Bengala tomaron tras un asalto la "dhvaja" (la bandera), y tras esto el templo perdió su carácter sagrado y dejó de estar en funcionamiento.