Bygården tilhørte på slutten av 1600-tallet (1634–1699), som var kjøpmann og magistratspresident (borgermester) i byen. Fra 1688 drev et privilegert gjestgiveri i gården, som etter Allervelts død i 1697 ble drevet av hans enke . Hun ble på sin side gift for tredje gang i 1721 med løytnant (1680–1740), og en teori er at navnet på bygården stammer fra ham. Fra 1736 tilhørte bygården proprietær og mølleeier (1694–1764), som blant annet eide større områder både i Ila-området og i Bymarka. Han lot oppføre blant annet Schivegården, og flyttet gjestgiveriet fra Abelsborg dit.