Han var sønn av handelsmann, slottsskriver og borgermester i Christiania Niels Nielsen Toller og Karen Davidsdatter Lucht. Toller den yngre giftet seg med Kirsten Andersdatter de Tonsberg (d. 1701), datter av borgermester i Tønsberg Anders Madsen (1609-1670) og Karen Olufsdatter Stranger (1617-1698).