Im Jahr 1791 kam Joseph Johnson mit seiner Mutter nach Belvidere in New Jersey. Im Jahr 1801 zog die Familie weiter nach Bridgeport, das damals Teil von Virginia war, heute aber zu West Virginia gehört. Dort wurde Johnson in der Landwirtschaft tätig. Während des Britisch-Amerikanischen Kriegs von 1812 war er Hauptmann einer Kompanie aus Virginia.