15岁的妻子文福彩育有4子4女。当中3名子女已去世，大女儿及二女儿分别嫁往英国及荷兰。曾灶财年少时就读于圣芳济书院曾氏16岁定居香港投靠舅舅，当建筑工地及垃圾站工作时被压伤腿部，自此要靠柺杖走动。曾灶财整理祖先遗物时，发现九龙部份土地（九龙城）被割让给英国之前，曾获御赐为他祖先的食邑（封地）。香港成为英国属地后，他们却不再是九龙的地主。曾氏不满政府「霸佔」其土地，故开始四处禀状，经常在家附近涂鸦「宣示主权」。曾灶财多次因为涂鸦问题与市政人员及警察发生争执，亦屡遭带走、检控，但警方多以警诫或罚款了事。