Eckermann var født inn i en fattig familie, og vokste opp i en liten by utenfor Hamburg. Han fikk en uregelmessig skolegang, men gjorde seg i den grad bemerket, at han ble ansatt som amtsskriver i hjembyen. Etter å ha vært soldat under den tyske frihetskrigen (1813–1814), dro han til Hannover for å bli kunstmaler. På grunn av sykdom og pengenød måtte han snart ta arbeid i statsadministrasjonen. For å skaffe seg en utdannelse var han samtidig elev ved gymnaset i Hannover, og leste seg opp på moderne tysk litteratur. Etter gymnaset begynte han å studere rettsvitenskap og filologi ved universitetet i Göttingen, men måtte slutte på grunn av pengemangel. Han slo seg ned i Empelde ved Hannover, og begynte å skrive poesi. Etter å ha skrevet sendte han manuskriptet til Goethe i Weimar.