Kapustjanskyj wurde 1879 in einem Dorf in der heutigen ukrainischen Oblast Dnipropetrowsk als Sohn eines orthodoxen Priesters geboren und besuchte bis 1899 das Priesterseminar in Jekaterinoslaw. 1904 war er Absolvent der Infanteriekadettenschule in Odessa und nahm zwischen 1904 und 1905 als Freiwilliger am Russisch-Japanischen Krieg teil, absolvierte 1912 die Generalstabsakademie in Sankt Petersburg und kämpfte als Soldat der Kaiserlich Russischen Armee im Ersten Weltkrieg. Er wurde 1917 zum Oberst befördert und war nach der Oktoberrevolution Generalstabsoffizier der ukrainischen Einheiten der russischen Armee. 1920 wurde er zum Brigadegeneral befördert. Nach dem Polnisch-Sowjetischen Krieg war er von 1921 bis 1923 in Polen interniert und ging nach seiner Entlassung nach Frankreich, wo er die ukrainische Nationale Union in Frankreich gründete und leitete.