Etter å ha studert elektroteknikk ved National Chiao Tung University, begynte Yang ved Universitetet i Florida, der han fikk en mastergrad i elektronikk i 1974. Yang ble senere tatt opp ved Harvard Graduate School of Design, men han valgte å ikke begynne der. Deretter reiste han til Seattle for å arbeide med datamaskiner og programvare. Yang ble på denne tiden inspirert av filmer av den italienske regissøren Michelangelo Antonioni. Han giftet seg med den taiwanske pop-sangeren og musikk-legenden Tsai Chin i mai 1985. De tok ut skilsmisse i august 1995, og Yang giftet seg senere med pianisten Kai-Li Peng.