腓特烈五世是“红胡子”腓特烈一世和第二位夫人勃艮第的比阿特丽克丝生的长子，他出生于意大利的帕维亚。腓特烈五世还是个孩子的时候便被封为士瓦本公爵，他的父亲准备让他和英国的公主联姻，但是他五岁就夭折了。他的弟弟亨利六世（1165年—1197年）继承了神圣罗马帝国的帝位，另一个弟弟康拉德（1167年—1191年），他改名为“腓特烈”这个霍亨斯陶芬家族传统的名字继承了士瓦本公国，他也被称为腓特烈六世。