Pada tahun 1938, saat berusia 18 tahun, Yang sedang berada di Manchuria ketika Angkatan Darat Kekaisaran Jepang menerapkan wajib militer ke Angkatan Darat Kwantung untuk dikirim melawan Uni Soviet. Waktu itu Korea dikuasai Jepang. Pada Pertempuran Khalkhin Gol, ia ditangkap Tentara Merah Soviet dan dikirim ke kamp buruh. Karena Soviet kekurangan pasukan untuk melawan Jerman Nazi, pada tahun 1942, Yang beserta ribuan tahanan lainnya dijadikan bagian dari Tentara Merah dan dikirim ke front timur Eropa.