Kolejnym groźnym przeciwnikiem było Imperium Osmańskie, rządzone przez Sulejmana Wspaniałego, jednego z najwybitniejszych sułtanów. Turecki napór poprzez wody Morza Śródziemnego stanowił poważne zagrożenie dla południowej Europy. Po klęsce Węgrów pod Mohaczem w 1526 r. brat Karola, arcyksiążę Ferdynand, został królem Czech i Węgier. Tym samym monarchia habsburska rozpoczęła swoje kilkusetletnie zmagania z Turkami. Początek nie nastrajał optymistycznie – w 1529 r. Turcy oblegali Wiedeń, jednak musieli od niego odstąpić. Karol próbował zyskać poparcie książąt niemieckich dla planów wojny z Turcją, ale nie udało mu się uzyskać wymiernych efektów. W 1535 Karol odniósł ważne zwycięstwo pod Tunisem. W wojnach tych król Francji kilkakrotnie wszedł w sojusz z Turkami przeciwko Karolowi. Wojny przeciwko Turkom były bardzo kosztowne dla imperium Karola, a korzyści z działań wojennych mizerne.