住在「希路活道」35号的继室潘丽芬被控蓄婢未註册，主控官检控她在1931年当肖丽章的发妻病逝后，她购买一名婢女，又未有向香港政府註册。惟姑念该名婢女在肖丽章的住宅里「好衣好食、待遇颇好」，只轻判罚款港币25元。1941年与妻子潘丽芬居住在九龙尖沙嘴山林道，他在美国演出期间，寄出航空信给妻子潘丽芬，途中被歹徒窃去，更改字句，骗得潘丽芬即交港币800元给送信歹徒婚礼之用