时就能抄写父亲所读的儒家经典。由于他性格暴躁如火，且眉间的皱纹似「火」字，被藩主土屋利直称为「火之子」。1679年，久留里藩被废除，土屋氏被改为旗本。新井白石成为大老堀田正俊的家臣。1684年堀田正俊为稻叶正休所暗杀，堀田氏被迫迁往古河藩、山形藩、福岛藩，藩财政日益窘迫。新井白石被迫同堀田氏脱离关系，成为一个浪人。1686年，新井投奔当时着名的儒学学者木下顺庵门下，学习朱子理学。新井白石的才能受到木下顺庵的赞赏，并成为加贺藩藩主前田纲纪的家臣。1693年，新井白石成为甲府藩藩主德川纲丰的心腹。