督卢兴祖之女为妻，颜氏为妾，纳兰与卢氏十分恩爱。可惜好景不长，才过了三年多的时间，卢氏就于康熙十六年五月三十号，因产后受风寒，缠绵病榻而去世。纳兰性德为她写下了许多感人至深的悼亡词。又过了三年多，他续娶官氏为继室。两人感情也不错。纳兰性德在扈驾至辽东、五台山、江南一带巡视及赴梭龙侦察的行役途中所写的一些思家的作品，显然是为官氏所作的。纳兰性德的子女人数、名字，由于记载年代和史料来源有别，虚实难辩，甚至自相矛盾，很久以来无法弄清。据现有材料，研究者大致认同纳兰共有三子，长子富格，次子富尔敦，三子富森，女数人。