La colección fue iniciada a mediados del siglo por el papa Paulo III, el cual reunió en su palacio del Campo de' Fiori tanto obras antiguas, sobre todo estatuas provenientes de los hallazgos arqueológicos de la zona de Roma como los de las Termas de Caracalla, como modernas, en su mayoría obras pictóricas de artistas como Rafael Sanzio, Sebastiano del Piombo, El Greco y Tiziano.