Sin ungdom tilbragte Jacob Grimm i Steinau, dit faren var blitt forflyttet som embedsmann i 1791. Fra 1798 var han og broren Wilhelm elever ved Lyzeum i Kassel. I 1802 lot han seg skrive inn ved universitetet i Marburg hvor han studerte jus under Friedrich Karl von Savigny· Snart ble hans oppmerksomhet mer og mer rettet mot det tyske språk og de tyske litteraturskatter. Savignys rettshistoriske forskning hadde delvis ledet ham dithen. Da Savigny i 1804 fór til Paris i forskningsøyemed, lot han snart Jacob Grimm komme etter for at han skulle hjelpe til med litterært arbeid.