Nachdem das Bistum Semgallen am 3. März 1251 aufgehoben und dem Erzbistum Riga zugeschlagen worden war, erhielt Heinrich von Papst Innozenz IV. das vakante Bistum Kurland. Dort sollte er u. a. zusammen mit dem Bischof von Ösel die Einhaltung des päpstlichen Schutzversprechens überwachen, das dem litauischen Großfürsten Mindowe abgegeben wurde. In Absprache mit Gunther von Wüllersleben, dem Hochmeister des Deutschen Ordens, gründete Heinrich die Burg Memel, die als Bischofssitz dienen sollte. Nach der Teilung Kurlands ließ er vom Hochmeister die Grenzen seines Sprengels festlegen und begab sich, vermutlich in Begleitung des Bischofs von Ösel nach Nordwestdeutschland und Frankreich. Belegt sind Aufenthalte in Lübeck und Sens, wo er Verhandlungen mit dem livländischen Hochmeister des Deutschen Ordens führte. Im Frühjahr 1255 setzte er sich in Hachenborn in Hessen für einen Wiederaufbau des abgebrannten Augustiner-Frauenklosters ein. Im April 1257 war er in seiner Diözese und sollte im selben Jahr im Auftrag des Papstes Alexander IV. in Livland als Prediger für den Kreuzzug werben. Zusammen mit dem livländischen Ordensmeister Burkhard von Hornhausen regelte er 1258 in Memel die Pfarrorganisation der dem Orden unterworfenen Teile Kurlands. Vermutlich wegen des Kurenaufstandes und Einfälle der Litauer verließ er nach der Schlacht an der Durbe 1260 seine Diözese. Jedenfalls ist sein Aufenthalt im selben Jahr in Köln bezeugt, als er dort die Kirche des Minoritenklosters konsekrierte. Mit einer undatierten Urkunde, die vermutlich 1262 ausgestellt worden war, bestätigte er dem Domkapitel von Riga dessen Besitzungen, um die es später immer wieder zu Streitigkeiten kam.