Nach dem Tod seines Vaters 1440 erbte er zunächst das Fürstentum Ansbach, während seine Brüder dessen übrige Territorien erhielten. Pläne, die er für die Wiederbelebung des Herzogtums Franken hegte, ließen sich vor allem wegen des Nürnberger Widerstandes (Nürnberger Städtekrieg bzw. Erster Markgrafenkrieg, Bayerischer Krieg) nicht durchsetzen. Beim Tod seines ältesten Bruders Johann des Alchimisten erbte er 1464 das Fürstentum Kulmbach. Als sein älterer Bruder Friedrich II. 1470 zu seinen Gunsten abdankte, fiel auch dessen Markgrafschaft Brandenburg einschließlich der Würde eines Kurfürsten und Erzkämmerers des Heiligen Römischen Reiches an Albrecht. Er vereinigte damit den gesamten fränkischen und brandenburgischen Besitz des Hauses Hohenzollern.