年幼的时候，父亲斋藤利三跟随其主君明智光秀发动了本能寺之变，将织田信长逼死于本能寺。后来发生山崎合战，明智军战败，利三被逮捕后遭处死。因为身为罪人的家属，阿福的母亲带着子女投奔在京都的舅舅三条西公国家中，正因此，阿福成长过程中有机会学习到公家文化的书道、歌道、香道等艺文活动。之后以稻叶一铁之子稻叶重通养女的身份，嫁给重通义子、丧妻的稻叶正成做第二任正室。但是两人后来离婚，原因是阿福决定要前往大奥做当时刚出生的德川家光乳母。1604年起，担任德川家光的乳母兼老师。家光的生母江因为被强迫与自己儿子分离，心里