Ahlert Hysings embedsbolig var i øverste etasje i Herregården, Larvik i Ved å lese beskrivelser fra tiden (Conrad Nikolai Schwach: «Erindringer af mit Liv»), forstår man at embedsboligen var alt annet enn komfortabel og fredelig på grunn av bygningens alder og virksomheten som utspilte seg nedenunder i Teatersalen. Overlæreren fikk i 1851 tittelen rektor og Ahlert Hysing virket frem til 1867. De fikk åtte barn, hvorav seks vokste opp, blant andre datteren Else Elisabeth (1832–1918) som ble gift i 1853 med teologen Ulrik Vilhelm Koren (1826–1910) og emigrerte med ham til Iowa i USA der Koren endte som biskop.