Som barn ble Gary Davis helt blind. Han lærte seg å spille gitar, banjo og munnspill på egen hånd, og opptrådte snart på lokale tilstelninger. Senere flyttet han til Durham, Nord-Carolina, hvor han livnærte seg som gatemusikant. Rundt 1927 ble han baptistprest, derav tilnavnet (prest/pastor).