1362/63 starb der letzte Pfannberger ("Johann"), denen die Grafen von Montfort bis 1524 folgten. Deren erster war Hugo von Montfort (* 1357; † 1423), der Minnesänger, der Margareta, die Tochter Johanns, geheiratet und mit ihr die steirischen Besitzungen des Hauses übernommen hatte. Er nahm seinen Wohnsitz ab 1401 auf Pfannberg und trat in den steirischen Herrenstand ein. 1377 begleitete er Herzog Albrecht III. auf seinem Preußenzuge, focht wahrscheinlich 1386 bei Sempach mit, wurde 1388 Landvogt im Aargau und Thurgau und war 1413–1415 Landeshauptmann in Steiermark. Er starb am 4. April 1423 auf dem Schloss Pfannberg, wo noch ein Freskogemälde und eine Inschrift an ihn erinnert, und wurde bei den Minoriten in Bruck an der Mur bestattet.