Dada la proximidad de la torre al Muelle de la Aduana durante la conquista de América es habitual decir que se llamaba así porque en ella se almacenaba el oro de América, pero el oro se guardaba en una estancia de la Casa de la Contratación (Cuarto del Tesoro) y era procesado en la Casa de la Moneda, a varios metros de allí.