Niels Toller den eldres sønn, Niels Toller den yngre, var overhoffsrettsassessor, viselagmann i Tønsberg og godseier i Christiania-traktene. Han kjøpte bl.a. Frognergårdene i 1667. En annen sønn var den adlete Jens Toller Rosenheim (1636-1690 Dublin).