Spätestens nach dem Aussterben der Grafen von Pfirt saßen sie auf Burg Hohenpfirt (). Burg Liebenstein, die urkundlich erstmals 1218 erwähnt wird, dürfte wohl zu keiner Zeit Sitz der Freiherren gewesen sein. Diese Burg fiel bereits dem Erdbeben von 1356 zum Opfer und ist seither Ruine.