1893年，光绪农历10月15日（阳历11月22日），生于湖北省宜昌城区大南门外正街14号，家族为习武世家，原名吕长贵。自传《祖国繁荣富强是我最大的愿望》说是湖北省洪门镇雁鸣湖畔。1905年，成为武当名师李国操入室弟子。1906年，父亲因为营救太平天国（也有说法是义和团）将领被当时的清政府抓获判死刑。处决当天，母亲带着13岁的吕紫剑以及全家来到刑场，斗智斗勇冒死救出父亲。不久，全家移居湖北宜昌。1908年，在湖北荆门再拜师铁腿江英学武当长拳，一学又是三年。1910年，吕紫剑来到上海，与霍元甲