Yu var blant de titusener av medlemmer i geriljahæren og deres støttespillere som fra og med 1934 sluttet seg til den lange marsjen i et forsøk på å bryte gjennom de mange nasjonalistiske blokadene rundt den kommunistiske basen som lå sør i landet. I 1936 ble han så hardt skadet i armen under en trefning med forfølgende nasjonalistiske krefter at han måtte amputere armen. Under Kinas anti-japanske krig mellom 1937 og 1945 og den påfølgende borgerkrigen i Kina var Yu en ledende politisk kommissær og opplæringsoffiser i de kommunistiske styrkene.