El edificio de la Galería se encuentra enclavado en los jardines de Villa Borghese, cuyo conjunto conformaba anteriormente la Villa Borghese Pinciana, propiedad de la familia homónima.