Caspar var av Wessel (slekt), sønn av sogneprest Jonas Wessel (1707–85) og Helene Marie Schumacher (1715–89). Moren var fra Drammen av Griffenfeldts slekt. Han var yngre bror av forfatteren Johan Herman Wessel (1742–85) og landmåler og jurist Ole Christopher Wessel (1744–94). De vokste opp i Wesselstuen i Vestby.