Niels Toller den yngres døtre Karen Toller og Anne Cathrine Toller arvet farens jordegods. Karen Toller var gift med kommanderende general i Norge Casper Herman Hausmann, mens Anne Cathrine Toller i sitt første ekteskap var gift med generalløytnant Hans Ernst von Tritzschler og i sitt andre ekteskap med Johan Henrik Garmann. Karen Toller var bl.a. mormors mormor til Herman Wedel-Jarlsberg.