出生，他的父亲与刘邦的父亲刘太公交情很好，二人长大后又在一起读书，情同手足。刘邦还是平民百姓的时候，身背官司，常被官府通缉，卢绾总是随同左右，东奔西走。刘邦在沛县起兵的时候，卢绾以宾客的身份随同。刘邦被项羽封为汉王时，卢绾担任将军。楚汉战争时，卢绾官至汉太尉，后又被封为长安侯。前204年八月，刘邦派卢绾、刘贾率兵2万、骑兵数百，渡过白马津（今河南省滑县北）进入楚地，配合彭越的军队烧毁项羽的粮草辎重，并在燕县（今河南省延津县东北）西面击败了楚军，又攻下了睢阳（今河南省商丘市睢阳区）、外黄（今河南省杞县东）等十