男子吕永吉自称有姑字苦桃，为杨忠之妻，即文帝之母。隋文帝勘验知道是舅舅的儿子，于是追赠外祖吕双周为上柱国、太尉、八州诸军事、青州刺史，封齐郡公，谥号敬，外祖母姚氏为齐敬公夫人。下诏一起改葬，在齐州立庙，置守冢十家。吕永吉袭爵齐郡公，留在京师。大业年间，隋炀帝授吕永吉为上党郡太守。吕永吉性识庸劣，不理政务。后来离职，不知所终。