于海德堡。阿格尼丝的祖父是巴伐利亚公爵狮子亨利，而外祖母则是霍亨斯陶芬的阿格尼丝。由此看来，路德维希二世在巴伐利亚地区拥有十分高贵的出身。1255年，维特尔斯巴赫家族的领地被鄂图二世的几个儿子瓜分。路德维希二世得到了莱茵普法尔茨和上巴伐利亚，他的弟弟亨利十三世获得了下巴伐利亚。路德维希二世与亨利十三世一起支持他们的外甥康拉丁（德意志国王康拉德四世之子）争夺西西里的王位（该王位被康拉德四世的敌人、教皇英诺森四世剥夺）。在1268年康拉丁最终失败并于那不勒斯被处决后，路德维希继承了这位年轻的王子在士瓦本地区