年家贫，出仕本县（荆州南阳郡宛县）亭长，因宾客犯法而脱户籍，与彭宠共逃渔阳。当时，彭宠在洛阳王莽属下的王邑军中，听说弟弟加入汉军，恐怕被问罪，所以就和吴汉逃到父亲以前当过太守的渔阳，以贩马自业，往来于燕、蓟间，所至交结当地豪杰。更始元年（23年），更始帝使者谒者韩鸿听说彭宠、吴汉都为乡闾故人又听到别人对吴汉的推荐，于是任命彭宠为偏将军、行渔阳太守事，吴汉为安乐令。
归附刘秀.更始元年（公元23年），更始帝派行大司马刘秀安抚河北，同时王郎诈称刘氏子孙而起兵邯郸，吴汉听说刘秀是长者