Yatarō døde av magekreft da han var 50 år gammel, i februar 1885, og han ble etter sin død etterfulgt i familiebedriften av sin bror, og senere hans sønn, Hisaya. Hans fjerde datter, Masako, var gift med baron Kijūrō Shidehara som var den 44. statsministeren i Japan.