Han ble født i Helsingfors som eldste sønn av oberstløytnant Fredrik Anders Jägerhorn og Ulrika Sofia Brunow. Hans bror oberst Fredrik Adolf Jägerhorn ble i 1808 visekommandant for festningen Sveaborg. Familietreet kan dokumenteres tilbake til det 15. århundre, mens legender inspirert av «Rolandskvadet» fører det tilbake til det 12. århundre da Erik den hellige kom til Finland og adlet en av deres aner.