Era hijo del general liberal Lucas Caballero; hermano del escritor y periodista Lucas Caballero Calderón, también conocido como Klim; y padre del pintor Luis Caballero, del periodista Antonio Caballero y de la escritora Beatriz Caballero quienes usaron en su formación las experiencias diplomáticas de su padre en Madrid (1946-1948) y en París (1962-1968)