Ettersom han i 1810 nektet å gi Napoleons ekteskap med erkehertuginne Marie-Louise av Østerrike, forbød keiseren ham å bære den røde embedsdrakt som tilkommer kardinaler, og dermed ble kardinal Mattei en av fe såkalte «svarte kardinaler».