说：“有人看了我的面相，说我当在受刑之后称王，现在大概是这种情形吧？”英布后来被带到骊山当役徒，修筑秦始皇陵墓，骊山刑徒有数十万人，英布专门和罪犯的头目、英雄豪杰来往，其后带领一些人逃到其它地方成为盗贼。
秦末时期.秦末，陈胜、吴广发动大泽之变，反抗秦朝，英布去约番君（番阳县令）吴芮一同举兵，番君被说服，于是加入起义行列，还把女儿嫁给英布，聚集了几千人。在陈胜败死于秦朝章邯之手后，英布带兵北上攻打秦左、右校的军队，在清波打败了他们，就带兵向东挺进。听说项梁平定了会稽，渡过长江向