A várost 1267-ben alapították. A 14. században a Litván Nagyfejedelemség része lett. 1561-ben a város lakossága felkelt a lengyel–orosz háborúban ide bevonuló oroszok ellen, egy hétezres garnizont semmisítettek itt meg. Mivel kereskedelmi utak csomópontjában fekszik, gyors fejlődésen ment keresztül, viszonylag hamar, 1577-ben városi jogokat kapott. 1772-ben került Oroszországhoz és hamarosan a "Mogiljovi kormányzóság" központja lett. 1812-ben a város közelében vívták a szoltanovkai csatát Bagratyion és I. Napóleon hadseregei. Mogiljov az orosz főparancsnokság székhelye volt az első világháborúban. Az első ötéves tervek idején gyorsan iparosodott (a forradalomig csak kisebb fa-, sör-, dohányipari üzemek működtek itt), 1930-ban helyezték üzembe műselyemgyárát, amely az akkori Belorusszia legnagyobb vegyiüzeme volt. 1930-ban bőrgyár, 1932-ben pedig csőgyár kezdte meg működését és felépült a húskombinát is. Lakossága gyorsan növekedett, 1926-ban 50 ezren, 1939-ben már 99 ezren lakták. A második világháborúban is fontos szerepet játszott, 1941. július 1–26. között tartották a németekkel szemben. A város 1944. június 28-án a Bagratyion hadművelet során szabadult fel. Házainak fele elpusztult, lakóinak száma 10 ezerre csökkent a harcok során. A háborús károk helyreállítása után folytatódott a város iparosítása, elsősorban a gépipar fejlődött gyorsan, 1965-ben pedig a Szovjetunió egyik legnagyobb műszálgyárát helyezték üzembe. Ugyanebben az évben kezdte meg a termelést másik nagyüzeme, a Mogiljovi Autógyár (MoAZ).