Im August 1248 brach sein Vater zum Kreuzzug nach Ägypten (sechster Kreuzzug) unter König Ludwig IX. von Frankreich auf, er selbst begleitete ihn nicht. Der Vater fiel am 5. Juni 1249 bei den Kämpfen um Damiette, weshalb Hugo XI. ihm als Herr von Lusignan, Graf von La Marche und Graf von Angoulême nachfolgte. Es ist allerdings unwahrscheinlich, dass er zu diesem Zeitpunkt vom Tod seines Vaters wusste. Denn von ihm ist ein Brief erhalten, der auf dem 29. Juni 1249 in Paris datiert ist, in dem Hugo XI. seine eigene Kreuzzugsvorbereitung dokumentierte, aber den Tod des Vaters nicht erwähnte. Zusammen mit elf Rittern in seinem Gefolge schloss sich Hugo XI. dem Prinzen Alfons von Poitiers an, mit dem er im Oktober 1249 die ägyptische Hafenstadt Damiette erreichte und hier wohl vom Tod des Vaters erfuhr.