Jagić avsluttet gymnaset i Zagreb og studerte deretter klassisk filologi og slavistikk under Franz Miklosich i Wien. Fra 1860 til 1870 var han gymnaslærer i Zagreb. I 1871 dro han ut på en vitenskapelig reise gjennom Tyskland og Russland, og overtok i 1872 en lærestol i sammenlignende språkforskning ved universitetet i Odessa. I 1874 ble han professor i slaviske språk ved Universitetet i Berlin, og i 1880 mottok han et professorat i St. Petersburg. I 1886 etterfulgte han sin lærer Franz Miklosich som professor i slavisk filologi ved Universitetet i Wien.