祖父・義福は、聞得大君御殿（きこえおおきみうどぅん、最高神女・聞得大君の住まう御殿）の台所方筆者（書記職）を務め、退職の際には汀良村（現・那覇市首里汀良町）に家屋敷を賜ったとされるが、父・義枢が大酒飲みであったため一家は没落し、義珍が生まれたときには、借家住まいの困窮した生活を送っていた。
祖父富名腰筑登之义福曾在琉球国第二尚氏王朝时期担任闻得大君御殿的台所方笔者（书记）职务，退休后在汀良村（今那霸市首里汀良町）建起了房产，但由于船越义珍父亲的富名腰筑登之义枢有酗酒恶习，家境因而中落。