Sagen var i sin første ungdom krambodgutt, men i 15-årsalderen ønsket han å lese til artium. Han måtte imidlertid ta igjen det tapte, og ble elev ved Bergens Kathedralskole først 17 år gammel. På skolen var hans beste venner de senere prestene Niels Dahl og Johan Ernst Welhaven, far til J.S. Welhaven. I 1797 reiste de alle tre til København for å studere ved universitetet.