早期.英布年轻时，有位客人给他看相说：“当在受刑之后称王。”后因为犯法而受黥刑（与纹面不同），所以又称黥布。英布愉快地笑着说：“有人看了我的面相，说我当在受刑之后称王，现在大概是这种情形吧？”英布后来被带到骊山当役徒，修筑秦始皇陵墓，骊山刑徒有数十万人，英布专门和罪犯的头目、英雄豪杰来往，其后带领一些人逃到其它地方成为盗贼。
秦末时期.秦末，陈胜、吴广发动大泽之变，反抗秦朝，英布去约番君（番阳县令）吴芮一同举兵，番君被说服，于是加入起义行列，还把女儿嫁给英