只有胡将军（注：石勒是胡人，故张宾称其为胡将军）可以跟他一起成就大事。”随后，他投奔石勒帐下做谋士，石勒一开始并没有重用他。永嘉四年（310年），石勒进军江、汉，并打算长期据守。张宾不同意，希望石勒北还。石勒没接受张宾的意见，结果，石勒军中缺粮，又被王导所率领的晋军攻击，损失惨重。石勒只得采纳张宾的建议北还。永嘉五年（311年）正月，石勒率军北上渡过沔水。随后攻占新蔡，又进攻许昌，给晋军很大打击。自此之后，石勒对张宾言听计从，张宾遂成为石勒手下头号谋士。
计除王弥.当时，石勒希