Chimoio gehörte historisch zum Munhumutapa-Reich und hieß "Mandingos". Gegründet wurde der Ort an einem Platz namens "Chimiala". 1916 wurde Mandingos von den Portugiesen in "Vila Pery" umbenannt. Die Stadt hatte in dieser Zeit neben Portugiesen auch eine größere Bevölkerungsgruppe von Briten als Einwohner. 1969 wurde der Ort zur Stadt (Cidade) erhoben. Mit der Unabhängigkeit Mosambiks 1975 erfolgte die Umbenennung in Chimoio. Die Stadt war sowohl vom Mosambikanischen Unabhängigkeits- wie vom Bürgerkrieg betroffen.