耶路撒冷王國
即使查理與當時的公爵同名，他年幼時並沒有繼承爵位的可能。查理十歲時（1496年），他的堂姪卡洛二世去世。查理的父親腓力二世意外地繼任薩伏依公爵的頭銜，同時也獲得賽普勒斯王國、耶路撒冷王國與奇里乞亞亞美尼亞王國。腓力二世死後，由查理三世的兄長菲利貝托二世繼任公爵。菲利貝托於1504年去世，由於他並無後嗣，查理三世在十八歲繼任了薩伏依公爵。