Kaarle IV sai kasteessa nimen Venceslaus (Václav), mutta otti myöhemmin nimen Kaarle (Karel). Kaarlen vanhemmat olivat Juhana Luxemburgilainen ja tämän vaimo Elisabet, joka oli Böömin kuninkaan Venceslaus II:n tytär. Kaarle sai koulutuksensa Ranskassa. Hän oli kirjallisesti lahjakas ja puhui sujuvasti viittä kieltä: latinaa, tšekkiä, saksaa, ranskaa ja italiaa. Vuonna 1346 Kaarle osallistui Crécyn taisteluun, jossa hänen isänsä sai surmansa. Kaarlen itsensä onnistui paeta taistelukentältä haavoittuneena.