故幼名三治郎。父亲是神保贞恒是上门女婿。三治郎6岁时母亲去世，神保贞恒带长兄和二姐回小堤村（现千叶县横芝光町小堤），留下三治郎由外祖父母抚养。三治郎10岁时，舅舅继承家业，神保贞恒将三治郎领回本家。宝历12年（1762年）三治郎满18岁，入赘下总国香取郡佐原村（现千叶县香取市佐原）伊能家。伊能家在当地经营酿酒、酿酱油，以及放高利贷和利根川的水运。三治郎运用商业才能积累了很多财产。宽政6年（1794年）12月，伊能忠敬50岁时把家督让给长子伊能景敬。次年前往江户。拜江户幕府天文方的为师，学习测量和天文