Han var sønn av sorenskriver over Hedmarken Hans Henrik Schwabe (1713–1776) og Rebekka Hof. Fra 1752 til 1759 eide faren gården Sakslund i Stange. Forholdet mellom foreldrene var dårlig. Til slutt ble de skilt og den unge Johan Fredrik fulgte med moren. På hennes bekostning fikk han undervisning ved Odense katedralskole. I 1766 tok han og tok deretter anneneksamen ved Københavns Universitet. Deretter reiste han tilbake til Norge og var kontorist og senere edsvoren fullmektig hos forskjellige sorenskrivere i omkring åtte år. Først i 1776 kunne han ta danskspråklig juridisk eksamen ved universitetet. Han ble dermed .