Carlos nació el 2 de octubre de 1948, en Madrid, España, en una de las familias más preeminentes de la nobleza española, la Casa de Alba, primogénito de la duquesa de Alba de Tormes, Cayetana Fitz-James Stuart, y de Luis Martínez de Irujo y Artázcoz, hijo de los duques de Sotomayor y los marqueses de Casa Irujo.