佩材父亲是李家成，元配卢氏，庶配冯氏。大哥李英材、二哥李建材。李佩材有几房夫人，分别为侯容庄、任瑞芝、邹胜金，子孙后代不少是香港现代有名的人物，包括儿子李作元、李作亨、李作联、李作芳、孙子李福树、李福善、李福兆、李福和、李福逑、李福深、曾孙李国宝、李国章、李国能等。