Кроме того он пытался раздобыть деньги, для чего заложил королю Франции не только все свои владения во Франции, но и византийские реликвии, а Венеции в залог оставил даже своего собственного сына Филиппа (позже его выкупил король Кастилии Альфонсо X). Однако особых успехов он не добился. А в июле 1261 года Михаил VIII Палеолог, император Никейской империи, застал Балдуина врасплох и овладел Константинополем. В результате этого Латинская империя прекратила своё существование, а Михаил возродил Византийскую империю.