Město bylo založeno v roce 1890 Archibaldem Rossem Colquhounem a dostalo název "Fort Umtali" podle bohatých nerostných ložisek v okolí (ze slova "metal" = kov). V roce 1896 se přestěhovalo blíž k nové železnici, původní sídlo je známé jako "Staré Mutare". V roce 1914 obdrželo městská práva a v roce 1971 status city. Vzhledem ke strategickému významu města se o ně v době občanské války často bojovalo. Po vyhlášení státu Zimbabwe byl v roce 1982 název změněn na Mutare.