En 1958 se casa con una joven polaca, estudiante de filosofía, llamada Marysia Szumlakowska; con la que tuvo tres hijos: Juan de la Cruz (muerto en un accidente a los 18 años), Ignacio Yepes (compositor, flautista y director de orquesta), y Ana Yepes (bailarina y coreógrafa).