Garmann ektet Anne Cathrine Toller, enke etter genealløytnant Hans Ernst von Tritzschler. Paret residerte som rike folk på Hovin og eide flere av de beste gårdene i Aker. Da Toller døde overtok han Søndre Frogner, som han i 1744 skjøtet videre til Ulrik Frederik Cicignon.