聪明与妻林双随育有4子1女：长子祖智、次子祖诚、三男祖健、四男祖信和长女淑纯，台北第一高女（今北一女中）及台北帝国大学（今国立台湾大学）卒业的杜淑纯是台北帝大首位台籍女学生，后移民美国纽约取得双硕士学位，在图书馆担任馆长至退休，女婿是东北帝国大学卒业的林衡道（板桥林家出身）。杜聪明曾任台北第一高女家长会会长。三子杜祖健是毒物学、生化学者，台北一中（今建国中学）、台湾大学（理学士）、美国圣母大学 （理学硕士）、史丹佛大学（博士）毕业、并在耶鲁大学从事博士后研究，2009年获日本明仁天皇授与旭日中绶章。杜聪