Fichte kom fra fattige kår på landsbygda i Schlesien. Faren var vever, og hans sønn måtte arbeide som barn. Hans evner ble lagt merke til, og en lokal adelsmann og velgjører sørget for at han fikk en god utdannelse.