I 1217 ledsaget han den nyutnevnte keiser i Det latinske riket, Peter II av Courtenay, på reisen til Konstantinopel som pavelig legat. Underveis ble begge arrestert og fengslet i Despotatet Epirus, kardinal Colonna ble etter hvert satt fri, mens Peter II døde i fangenskap i Epirus i 1219. Colonna returnerte til Roma i 1222 og brakte da med seg en verdifull relikvie fra Konstantinopel; en del av søylen hvor Jesus ble pisket. Denne står fortsatt i kapellet som han innredet for dette i sin titularkirke, Santa Prassede.