Sin embargo, existen algunas tradiciones orales limeñas infundadas que pretenden atribuir al Virrey Manuel Amat y Juniet la construcción de dicho palacio para obsequiárselo a la Perricholi, lo cierto es que la verdadera Casa de la Perricholi, donada a ella por el Virrey Amat.