Pompeo var sønn av Prospero Colonna, en general som kommanderte de pavelige galeier under slaget ved Lepanto i 1571. Han ønsket ikke selv å bli kardinal; det ble sagt at han var nærmere sverdet enn breviaret.