度改僧装逃亡，隐居家乡着述。与同乡顾炎武齐名，并称归奇顾怪。
人何寥落鬼何多.归庄赫有文名，其着名对联「两口寄安乐之家，妻太聪明夫太怪；四邻接幽冥之宅，人何寥落鬼何多」，号称奇联，驰名古今。清代王昙、民国王造时等人，以及近代的张学良将军、前中华民国总统陈水扁，都曾引用、改作。清代王昙自书对联：「两口居碧水丹山，妻太聪明夫太怪；四围皆青燐白骨，人何寥落鬼何多。」（引张鸣珂《寒松阁谈艺琐录》）民国王造时輓禹之谟：「新国吊英魂，哭亦无聊歌亦苦；名山藏侠骨，人何寥落鬼何多。」