I april 2007 overtok Yang etter Li Zhaoxing, som hadde tjent som utenriksminister siden 2003. Han ble Folkerepublikkens tiende utenriksminister, og innehadde dette embedet til mars 2013.