凯死后，他离开政界，在北京闲居。1923年，北洋法政专门学校举行18周年校庆活动，黎渊应校长李秀夫的邀请回校观礼。黎渊遂作诗一首，内有“门前桃李见孙枝”一句，并注云“门人白兴亚、李季常、夏敬民诸人皆有声于时，门下受业者甚多，故云”。内中的李季常即为李大钊。1935年，黎渊在北平逝世，享年55岁。