Al 1811 risale la donazione da parte del cardinale e segretario di Stato Giuseppe Maria Doria Pamphilj - confinato a Pegli in seguito alla controversia tra il pontefice e il generale francese Napoleone Bonaparte - del dipinto raffigurante la "Madonna di Guadalupe". Il quadro fu dipinto in Messico e in seguito donato dal secondo vescovo di Città del Messico - Alfonso de Montùfar - al re Filippo II di Spagna che lo offrì in dono all'ammiraglio Giovanni Andrea Doria, quest'ultimo nipote del celebre Andrea Doria di Oneglia (Imperia). Secondo la leggenda tale dipinto fu portato dallo stesso Doria nella propria galea genovese durante la battaglia di Lepanto del 1571.