Koltsjak ble født i St. Petersburg, og ble utdannet til en karriere i marinen, i likhet med sin far. Han deltok i den russisk-japanske krig i 1904-05. Han spilte også en rolle i første verdenskrig, og ble viseadmiral i august 1916. De revolusjonen kom i 1917, mistet Koltsjak tittelen, og flyktet til USA.