向明德的父兄反日为名义，断绝了义村家的俸禄。在义村家财政拮据的情况下，向明德于同年从中国进口茶叶，做起了茶叶生意。1904年，向明德成立巴拿马帽子制造会社，事业一度兴隆。然而后来他的生意逐渐开始走下坡路。到了晚年，他先后移居东京和大坂，潜心研究书道、绘画、空手道和三线，过着文人的生活。1945年3月14日，美军空袭日本大坂，向明德不幸于这次空袭中遇难，享年80岁。1979年，义村家的后人将他的书画着作约五十余件赠送给沖绳县立博物馆。1981年，该博物馆开办了「义村朝义展」，对这些书画进行展出。