1357 ging Albrecht gegen seinen Straubinger Ministerialen Peter Ecker vor, der sich gegen ihn erhoben hatte. Obwohl Albrecht in Straubing ein repräsentatives Herzogsschloss errichten ließ, residierte er ab 1358 überwiegend in Den Haag. Ihm gelang es zunächst den letzten kabeljauschen Widerstand in Delft (1359) und Middelburg (1361) zu brechen, letzter wurde auch von England unterstützt. Als König Eduard III. von England über seine Frau Philippa von Hennegau, Albrechts Tante, neue Erbansprüche in den Niederlanden stellte, reiste Albrecht 1367 nach England und erreichte dessen Verzicht. Angesichts der Ansprüche Englands und der Gegnerschaft Kaiser Karls IV. schloss er sich eng an Frankreich an mit dem Erfolg, dass auch Karl IV. sich bald genötigt fand, ihn auch in seinem neuen Besitz in den Niederlanden anzuerkennen.