Alojzy Józef przyszedł na świat w Wiedniu 14 maja 1759 roku, jako trzeci syn księcia Franciszka Józefa I i jego żony Marii Leopoldyny von Sternberg. Jednak obaj jego starsi bracia zmarli w wieku niemowlęcym i od narodzin był następcą swojego ojca. Już od małego Alojzy wykazywał zainteresowanie nauką i sztuką. Po ukończeniu edukacji do 1786 roku odbywał służbę wojskową, podczas której miał krótki epizod w wojnie o sukcesję bawarską. 18 sierpnia 1781 roku zmarł Franciszek Józef I, a pełnie władzy nad Domem Książęcym objął dwudziestodwuletni książę jako "Alojzy I".