士信奉基督教，1929年11月2日于中环圣约翰座堂迎娶已故西医杜应坤医生的女儿杜佩珍（Jessie Pui-chun To）为妻，当日出席嘉宾除了两方家属以外，还包括罗旭龢等知名士绅。杜佩珍祖籍广东高要，父亲杜应坤是香港早期少有的华人西医，1925年省港大罢工期间曾受时任港督金文泰爵士所託前往广州协助调停。谭雅士与杜佩珍夫妇共育有一子一女，分别名谭正和谭爱莲，前者为香港建筑师；后者为香港首位华人首席按察司杨铁樑爵士的妻子，因此谭雅士也是杨铁樑的岳丈。谭雅士身后多年，其妻复于1994年逝世。谭雅士生前十分