James Collett var født i London og drev som handelsmann import av trelast fra Norge. I 1683 besøkte han sin forretningsforbindelse i Christiania og ble en venn av sønnen og dennes søster Karen. Han giftet seg med henne i 1686, men betraktet lenge oppholdet i Norge som midlertidig. Han virket i Christiania som faktor for engelske kjøpmenn som drev trelasthandel på Østlandet, men drev også handel på England for egen regning. Først i 1703 tok han borgerskap i Christiania, avla troskapsed til kongen og kjøpte den store bygården som ble i slektens eie til 1828. Collett var allerede omkring 1700 en av byens rikeste menn og fikk tittelen kommerseråd. Det første tiåret på 1700-tallet var en gunstig tid for handelen i Christiania, men i 1709 kom Danmark-Norge med i den store nordiske krig, som påførte Collett store tap, spesielt ved Carl XIIs besettelse av Christiania i 1716. Collettgården ble påført store skader, og taket mistet ved reparasjonen sin høye gavl og ble omgjort til valmtak. Likevel var han trolig Christianias rikeste mann ved sin død i 1727.