Był synem Andrzeja Ostroroga-Gorzeńskiego herbu Nałęcz i Józefy z Morawskich Gorzeńskiej z Chomęcic. Naukę pobierał początkowo w domu, a następnie w Dreźnie (1800-1806) i Wilnie (1810-1812, pod opieką Jana Śniadeckiego). Naukę przerwał, by wziąć udział w kampanii moskiewskiej Napoleona (m.in. jako adiutant marszałka Louisa Davouta). Odniósł ciężkie rany w bitwie pod Borodino we wrześniu 1812. Powrócił do Wilna, gdzie leczył się z ran z pomocą Jana Śniadeckiego. W kwietniu 1814 wrócił do Śmiełowa, ale utrzymywał kontakty ze środowiskiem wileńskim, m.in. zawiózł tam na studia swych młodszych braci - Prota i Wita, którym również patronował Śniadecki.