Umiddelbart etter til tiltredelse i 1042 satte Konstantin IX i gang med gjenoppbygging av Den hellige gravs kirke i Jerusalem som hadde blitt ødelagt, først av kalifen Al-Hakim bi-Amr Allah i 1009, deretter av et jordskjelv i 1033. Tillatelse til gjenoppbygging var gitt i en avtale mellom Al-Hakims sønn Ali az-Zahir og den bysantinske keiser Romanos III, men det var Konstantin som finansierte og igangsatte gjenoppbyggingen av kirken og andre kristne institusjoner i det hellige land. Gjenoppbyggingen skjedde under kalif Al-Mustansir Billah. Opplysningene om Konstantins medvirkning stammer fra 1100-tallskronikøren erkebiskop William av Tyr, men den mer samtidige greske historikeren Johannes Skylitzes tillegger keiser Mikael IV æren for dette.