Heltberg hørte til den studentflokken som sluttet seg til Henrik Wergelands (kultur)politiske linje på 1830-tallet. I 1846 opprettet han en toårig latinskole, som ble kalt . Han hjalp elever som av ulike grunner hadde slitt med å komme seg videre. Blant hans elever finner vi navn som Bjørnson, Ibsen, Lie og Vinje. Jf. Bjørnsons dikt «Gamle Heltberg». Arne Garborg gikk også på studentfabrikken, men opplevde ikke selv den sagnomsuste læreren. Heltberg var likevel forbilde for den geniale latinskolelæreren i Arne Garborgs roman Bondestudentar (1883).