珍1792年8月22日生于杭州城东马坡巷小米园（今有纪念馆于此），是龚家的长房长孙。6岁随父母租居北京绳匠胡同、潘家河、门楼胡同、手帕胡同和城外上斜街等处。祖父病逝后与家人回杭州守孝。两年后返京，租住北京法源寺南。启蒙教育由母亲承担，教读吴伟业诗和桐城派方苞、刘大櫆散文。后有家庭塾师宋璠，教学文史并重，经子兼顾，善诱导，打下了很好的基础。12岁随外祖父段玉裁习说文解字。13岁秋，作《水仙华赋》。14岁考订古今官制。16岁读《四库全书总目提要》，并由此搜罗善本古籍，致力目录学。17岁收集石刻，攻金石文字。