Jess var sønn av kjøpmann i Christiania Christian Ancher og yngre bror av de mer kjente Bernt Anker og Peder Anker. Han var gift med sin kusine Karen Elieson. I likhet med sine brødre tjente han penger på trelasthandelen, men var ikke like vellykket som dem. Mens brødrene la ned mye tid i forretningene, foretrakk Jess å bruke tid på jakt og utenlandsreiser. I en periode drev han også Moss Jernverk, og i 1780 kjøpte han løkken Uranienborg på Bymarken.