James Pierson Beckwourth syntyi vuonna 1798 Frederickin piirikunnassa Virginiassa Sir Jennings Beckwithin ja afrikkalaisen orjan jälkeläisenä. Beckwithit olivat merkittäviä henkilöitä Virginiassa ja ylpeitä aatelisista sukujuuristaan. Eräs esi-isistä oli osallistunut kuuluisaan Hastingsin taisteluun Vilhelm Valloittajan ritarina. Esi-äitien puolella Beckwithien sukulinja johti Skotlannin kuningas Robert Bruceen. Jamesin äidistä tiedetään vähän. Lähdetiedot kertovat hänen olleen mulatti, joka mahdollisesti tunnettiin "Miss Killin" nimellä.