在1545年7月8日出生于巴利亚多利德，他的母亲，葡萄牙公主玛丽亚·曼努埃拉在生下卡洛斯后四天便死于出血过多。 年轻的卡洛斯王子既纤弱且存在缺陷，随着年纪增长他变得越来越骄纵任性，另外也开始出现精神不稳定的症状，他的许多生理和心理上的痛苦可能是源自于哈布斯堡王室常见的近亲通婚。卡洛斯只有四个曾祖父母而非正常的八个，以及六个高祖父母而非十六个。1559年卡洛斯王子与法国公主伊莉莎白·德·瓦卢瓦联姻，她是法国国王亨利二世的长女。然而，由于政治因素的考量，1560年她后来改嫁给腓力二世。这时其他三位可能的联姻