A la edad de cinco años quedó huérfano y fue criado junto con su hermana por su padrino y abuelo Johann Adam von Ickstatt (1702-1776), quien era director de un colegio Jesuita, curador de la Universidad de Ingolstadt y miembro del consejo privado.