Hans far, gjestgiver Nils Harbitz, var trolig tysk eller hollandsk og døde i 1808. Enken Elisabet Christine Ibsen som skal ha danske aner, ble sittende i svært trange kår. Sognepresten i Haus, Johan Kiøbke Meyer, tok seg først av ham, siden kom han til familien Prahl i Bergen. De satte ham inn på realskolen for at han skulle bli handelsmann. Vicekonrektor Johan Winding mente han heller burde studere, og leste med ham privat slik at han kom inn på latinskolen. I 1821 ble han student med haud, tok anneneksamen 1824 med laud, 1825 embedseksamen med haud, men laud ved praktiske prøver.