Han ble dømt for skattesvindel i 1948 og sonte to år i fengsel. I sin biografi sier Ando at han ga stipend til elever, og disse var samtidig skattesvindel. Etter at han mistet firmaet i en kjedereaksjon av konkurser, skapte han det som skulle bli Nissin i Ikeda, Osaka, et lite familiedrevet firma som lagde salt.