Han ble født i Kobe i Japan som barn av barnebokforfatterne og illustratørene Taro Yashima og Mitsu Yashima. Hans foreldre var dissidenter og like før utbruddet av Andre verdenskrig flyttet de til USA, mens Mako ble værende hos sin bestemor i Japan. Han flyttet etter foreldrene i 1949 og ble amerikansk statsborger i 1956. Han fikk sin skuespillerutdannelse ved Pasadena Playhouse. I 1965 var han med å etablere East West Players, landets første asiatisk-amerikanske teaterkompani.