他教子相当严格，着作繁多，思想上支持王学泰州学派。祖父张汝霖1595年进士，官至江西参议，在江西任县令时，曾为新开征的矿税向税官力争，平息因药材税过重而引起的动乱。父亲张耀芳多次应考落第， 53岁时才考上乡试副榜，1627至1631年间，在山东兖州鲁王朱寿镛府内担任长史。自张汝霖起，张家生活渐趋奢靡。张耀芳及其兄弟建造华屋，蓄养歌伎，收藏古玩，贪酒好色，穷奢极侈；张耀芳沉耽于各种嗜好，日益挥霍。张家三世藏书，多达三万余卷，让张岱有良好的读书条件。张岱有三个弟弟，其中张山民集学者、诗人、艺术鑑赏家于一身。