Av hans engelskspråklige filmer, er Hayakawa sannsynligvis mest kjent for sin rolle som den japanske oberst Saito i filmen , som han fikk en Golden Globe og en Oscar-nominasjon i kategorien beste mannlige birolle i 1957. Hayakawa kalte denne filmen for høydepunktet av sin karriere. Han har også opptrådt som pirat i Disneys film fra 1960. Hayakawas formue og ekstravaganse var legendarisk på denne tiden. Han kjørte en forgylt pierce-Arrow. Hayakawa ble kjent for noen av de villeste festene som ble holdt i Hollywood på denne tiden. En forretningsavtale som gikk dårlig gjorde at Hayakawa forlot Hollywood i 1921. De neste femten årene bodde han i New York, Frankrike, England og Japan.