Under de muslimske mogulene mistet Varanasi sin betydning, og Mahmud av Ghazni beordret i 1033 alle byens hindutempler revet. Akbar lot en del av templene restaurere i det syttende århundre, men hans etterfølger Aurangzeb fikk flere av dem revet igjen.