Den første undervisningen i malerkunsten fikk han fra sin far Xu Dazhang, en selvlært yrkesmaler. Allerede i barndommen malte Xu Beihong etter forbilde av -samlingen og så opp til maleren Ren Bonian. Etter et studieopphold i Japan studerte han som del av europeisk malerkunst fra 1919 ved École nationale supérieure des beaux-arts de Paris, og reiste så rundt i Tyskland, Belgia, Sveits og Italia.