679年，久留里藩被废除，土屋氏被改为旗本。新井白石成为大老堀田正俊的家臣。1684年堀田正俊为稻叶正休所暗杀，堀田氏被迫迁往古河藩、山形藩、福岛藩，藩财政日益窘迫。新井白石被迫同堀田氏脱离关系，成为一个浪人。1686年，新井投奔当时着名的儒学学者木下顺庵门下，学习朱子理学。新井白石的才能受到木下顺庵的赞赏，并成为加贺藩藩主前田纲纪的家臣。1693年，新井白石成为甲府藩藩主德川纲丰的心腹。1707年12月16日，富士山发生宝永大喷发，当时住在江户的新井白石目睹了喷发后大量火山灰落在江户的情况，在