Han Gan kom fra en fattig familie i Xi'an. Som ung ble han oppdaget av Wang Wei, en berømt dikter, musiker, maler og statsmann, som finansierte hans utdannelse. Etter studiene ble Han Gan tilknyttet det keiserlige hoff som maler.