I 1861 blev faderen arresteret af de russiske myndigheder i Warszawa for at have været med til at organisere det, der blev til januaropstanden 1863-1864. Han blev sendt i eksil til Vologda små 500 km nord for Moskva. Hans kone, Ewelina Korzeniowska (født Bobrowska) og hans fireårige søn fulgte med i eksil. På grund af Ewelinas svage helbred fik Apollo Korzeniowski i 1865 lov til at flytte til byen Tjernihiv i Ukraine, hvor Conrads moder efter få uger døde af tuberkulose. Conrads fader døde fire år senere i Kraków, og Conrad blev således forældreløs i en alder af 11 år.