Am 15. Juni 1936 ernannte ihn Papst Pius XI. zum Apostolischen Protonotar und nahm ihn als Kardinaldiakon mit der Titeldiakonie "San Giorgio in Velabro" in das Kardinalskollegium auf. Er verlieh Giovanni Mercati den Titel eines Bibliothekars und Archivars der Heiligen Römischen Kirche. Kardinal Mercati nahm am Konklave des Jahres 1939 teil, aus dem Pius XII. als Papst hervorging.