Hijo del teniente Coronel Antonio María Ramírez y de doña Dolores Fortoul Jaimes, nieta de Pierre Fortoul, el francés que fundó el apellido en Colombia.