I 1871 døde Alberts bestefar Maximilian Karl, og hans eldre bror Maximilian Maria ble fyrste. Barndommen tilbragte prins Albert sammen med moren og sine tre søstre i arveprinspaléet ved Bismarckplatz i Regensburg. Slik det var vanlig for aristokrater på den tiden fullførte han et ; han studerte jus, nasjonaløkonomi og kunsthistorie i Leipzig.