霍元甲有两个儿子和三个女儿,长子霍东章,次子霍东阁,大女儿霍东茹,二女儿霍东玲,小女儿霍东琴。霍元甲去世后,霍妻王氏抚养着两子三女艰难度日,于一九六零年去世,终年九十一岁。长子霍东章一直在家务农,次子霍东阁就接下了父亲未竟的事业。霍东阁随叔父霍元卿前往上海,扶持创办不久的精武体育会,继承父志,以强民强国为己任。一九一九年,霍东阁应精武广东分会邀请,前往广州任教。后于一九二三年携侄子霍寿嵩前往印尼组织、宣传精武体育组织,得到当地人民的赞扬。第二次世界大战期间,他积极组织反日活动,被日本宪兵逮捕。一九五六年,霍东阁逝世,许多华侨组织联合发出讣告,悼念这位客死异邦的爱国武术家。