后，杨文恺于1927年（民国16年）6月辞任。潘复内阁将农商部改组，分别成立农工部、实业部。此后，杨文恺寓居天津。他用当年任汉阳兵工厂总办时积攒的钱在家乡购置了土地，在天津购置了房产。1927年迁居天津时，杨文恺先住在今河北区进步道，之后搬到当时的大理道晓园2号。杨文恺娶了两房太太，育有12个孩子。因房子小，大夫人带着一房儿女居住在成都道昭明里，杨文恺则和二夫人刘文慧居住在晓园。随着子女长大，只有六女儿结婚后陪杨文恺和二夫人住在晓园，其他子女都搬走，空出的房间被杨文恺出租，杨文恺由此当起房东。抗日战争时