De acuerdo con la leyenda, Sha Jahan decretó que cualquiera podía llevarse ladrillos de los andamios, y en consecuencia fueron desmantelados de noche por los campesinos.