时候，卢绾以宾客的身份随同。刘邦被项羽封为汉王时，卢绾担任将军。楚汉战争时，卢绾官至汉太尉，后又被封为长安侯。前204年八月，刘邦派卢绾、刘贾率兵2万、骑兵数百，渡过白马津（今河南省滑县北）进入楚地，配合彭越的军队烧毁项羽的粮草辎重，并在燕县（今河南省延津县东北）西面击败了楚军，又攻下了睢阳（今河南省商丘市睢阳区）、外黄（今河南省杞县东）等十七座城池。刘邦登基后，卢绾和刘交经常侍奉皇帝左右，向外传达各种内事密谋。刘邦十分信任卢绾，给予他大量的赏赐，甚至允许他随意进出自己的卧室，这是其他大臣都不能企望的。