Carl Ludwig
카를로스 클라이버는 1930년 지휘자 에리히 클라이버의 아들로 베를린에서 태어났다. 태어날 때의 이름은 카를 루트비히 클라이버(Karl Ludwig Kleiber)였으나 1935년에 가족이 아르헨티나의 부에노스아이레스로 이주하면서 이름을 카를로스(Carlos)로 바꾸었다. 아버지 에리히는 베를린 국립 오페라의 음악 총감독이었으나 나치 정권에 항의하는 뜻으로 사임했다. 어릴 때는 영국인 가정교사가 있었고 아르헨티나의 영국인 기숙학교를 다녔으며 나중에는 뉴욕과 취리히에서 공부했다. 어릴 때부터 작곡과 노래, 피아노, 팀파니 연주에 재능을 보였다. 아버지 에리히는 카를로스가 음악을 직업으로 삼는 것을 만류하였다. 친구에게 "아이가 음악에 재능이 있어 안타깝다."고 쓰기도 했다.