出身地については南部(現在の岩手県)説もあり、それによると陸奥国閉伊郡宮古村(現在の岩手県宮古市)の網元吉田重兵衛(吉兵衛とも)の子として生まれ、後に福山の荒物屋の吉田利助の養子となったという(ただし、この説に対しては同名の別人と混同したのではないかという意見もある)。