Han var født i landsbyen Krivaja Kosa i Taganrogdistriktet i familien til en fisker. I 1898 ble han ferdig med navigasjonskole i Rostov-na-Donu og ble langfarts styrmann. I 1901 fikk han løytnants rang. I 1902–1903 deltok Sedov i en hydrografisk ekspedisjon i Nordishavet. Under den russisk-japanske krig var han sjef på en torpedobåt (1905). I 1909 ledet han ekspedisjon som senere beskrev munningen av Kolymaelven. Ett år senere utforsket Sedov Krestovajabukten på Novaja Semlja. I 1912 foreslo han en ekspedisjon til Nordpolen, men tsarens regjering nektet å finansiere dette prosjektet og ekspedisjonen ble organisert med hjelp av uavhengige kilder.