Hijo de Justiniano Olaya Ricaurte, descendiente de Jorge Miguel Lozano, Marqués de San Jorge, y Emperatriz Herrera Medina, sus abuelos paternos fueron José Rafael Félix Olaya Navarrete y Dolores Ricaurte Lagos, y los maternos, Pedro José Herrera y María Mónica Medina Bernal.