Карл е уговореният австрийски наследник на испанските Хабсбурги. Когато Карлос II от Испания прави завещание в полза на френския кандидат – бъдещият Филип V – това противоречи на два договора за подялба на наследството, сключени между Франция и Англия. Спорът за короната на Испания води до Война за испанското наследство (1702 -1714), в която Австрия, Англия и Съединените провинции се противопоставят на Франция и нейните съюзници. В хода на войната Карл нахлува в Испания с австрийски и английски сили през 1705 г. в опит да се укрепи и остава там шест години. След като по-големият му брат Йозеф I умира изненадващо през 1711 г., Карл се връща във Виена. Той наследява веднага титлата крал на Унгария, Хърватия и Бохемия. По-късно същата година във Франкфурт е избран и за свещен римски император.