Ostrogorsky studerte i Heidelberg i Tyskland, under Karl Jaspers, Heinrich Rickert, Alfred Weber og Ludwig Curtius. Interessen for bysantinsk historie ble vekket av en ung dosent, Percy Ernst Schramm. I 1925 tok han doktograden og underviste så som privatdosent i Breslau fra 1928. Etter nazistenes maktovertagelse i 1933 flyttet han til Beograd. Her underviste han i 40 år ved Universitetet i Beograd, inntil han gikk av i 1973.