William Wyatt Bibb var sønn av kaptein William Bibb (som var offiser i Continental Army under den amerikanske uavhengighetskrigen (1775–1783) og medlem av den lovgivende forsamling i det nettopp uavhengige Commonwealth of Virginia), og hans hustru Sally Wyatt Bibb. Omkring 1784 flyttet Bibb senior med sin familie sørover til Georgia med et høyt antal virginianere som hadde fulgt general George Mathews, helten fra Slaget ved Brandywine i Pennsylvania.