Відповідно до положень «Ахіллової диспозиції» (1473) батьки готували Альбрехта до духовної кар'єри. З 10 років хлопець виховувався при дворі кельнського архієпископа і курфюрста Германа IV, що зробив його каноніком. Після смерті архієпископа Альбрехт перейшов на службу до імператора Максиміліана І. 1508 року він взяв у імператорському поході до Італії, але захворів у дорозі й був змушений повернутися назад. Згодом, деякий час, Альбрехт перебував в Угорщині.