Im Konsistorium am 16. Dezember 1935 ernannte Pius XI. Caccia zum Kardinaldiakon mit der Titeldiakonie "Santa Maria in Domnica". Er war einer der Kardinäle im Konklave von 1939, die Pius XII. wählten. Aufgrund seiner Position als Kardinalprotodiakon (dienstältester Kardinaldiakon), verkündete Dominioni die Wahl Pius XII. und am 12. März 1939 krönte er ihn.