Allí estudió ingeniería agrícola y en 1873, fallecido su padre, regresó a Colombia. Cuando estalló la Guerra de las Escuelas, en 1876, Ospina Chaparro se unió a las fuerzas insurrectas del conservadurismo, que se alzaron en contra del gobierno de Aquileo Parra. En esta contienda combatió en compañía de su hermano, quien organizó la Guerrilla de Guasca, y participaron en las batallas de La Calleja, Guadalupe, Cerro Gordo, El Chochal y en La Donjuana, esta última donde murió Sebastián Ospina. En esta batalla, cuando fue a reclamar el cuerpo de su hermano, fue capturado por las tropas liberales y encarcelado en Pamplona, de donde huyó algunos meses después.