1530年代，查理与哈布斯堡王朝结盟，并参与与法国国王法兰索瓦一世、奥地利的查理五世的政治权力争夺。1536年，法国入侵萨伏依，佔有查理三次多数的财产并将其流放。<br>查理三世的余生几乎在流放中度过。他死于西元1553年，由他唯一存活的子嗣埃马努埃莱·菲利贝托承袭爵位。