Man kjenner ikke James Colletts foreldre, og det har heller ikke vært mulig å finne forbindelser til den engelske Collett-familien. Men i signetet sitt benyttet han samme våpen som en gren av den engelske slekten. I alle fall ble James Collett stamfar til den norske Collett-slekten, med grener i Sverige og Danmark. I 1686 ble han gift med Karen Leuch (1666–1745), datter av rådmann Peder Nielsen Leuch, eier av Bogstad gård.