Anker tilhørte slekten Anker, var sønn av kjøpmann og jernverkseier Erik Anker og Anne Cathrine Tank. Han var født i Fredrikshald hvor faren drev en stor virksomhet med såpe og tobakk. I 1748 kjøpte faren Moss Jernverk og fra han var 1 år, vokste Carsten Anker opp i Moss sammen med den eldre broren Peter.