反秦戦争に参加する前の劉邦はいわゆる親分肌の侠客であり、家業を厭い、酒色を好んだ生活をしていた。幼い頃の劉邦は、魏の公子である信陵君を慕い、彼の食客だった外黄県令の張耳を訪ねて親交を深めた。その後、魏が秦により滅亡すると、張耳は姓を変えて陳に忍び込み、劉邦も故郷に戻った。後日、劉邦は帝位についてから大梁を通るたびに信陵君の墓に祭祀を行うことで尊敬を表した。縁あって沛東に位置する泗水の亭長（警察分署長）に就いたが、任務に忠実な官人ではなかった。沛の役人の中に後に劉邦の覇業を助けることになる蕭何と曹参もいたが、彼らもこの時期には劉邦を高くは評価していなかったようである。しかしなぜか人望のある性質であり、仕事で失敗しても周囲が擁護し、劉邦が飲み屋に入れば自然と人が集まり満席になるので、この店は劉邦のツケ払いの踏み倒しを黙認していたと伝えられる。
史記によればある時、劉邦は夫役で咸陽に行ったが、そこで始皇帝の行列を見て「ああ、大丈夫たる者、あのように成らなくてはいかんなあ」と語ったという。またある時、単父の有力者の呂公が仇討ちを避けて沛へとやって来た。名士である呂公を歓迎する宴が開かれ、蕭何がこの宴を取り仕切った。沛の人々はそれぞれ進物に金銭を持参して集まったが、あまりに多くの人が集まったので、蕭何は進物が千銭以下の人は地面に座ってもらおうと提案した。そこへ劉邦がやってきて、進物を「銭一万銭」と呂公に伝えた。あまりの金額に驚いた呂公は、慌てて門まで劉邦を迎え、上席に着かせた。蕭何は劉邦が銭など持っていないのを知っていたので、「劉邦は前から大風呂敷だが、実際に成し遂げたことは少ない（だからこのことも本気にしないでくれ）」と言ったが、呂公は劉邦を歓待し、その人相を見込んで自らの娘を娶わせた。これが呂雉である。