Casado con Ana Jaramillo Aguilar, fue padre de Elisa, Sofía, Margarita, Ana Lucía, Carlina, y los generales Enrique e Iván Berrío Jaramillo.