Babrujsk omtales skriftlig første gang på midten av 1300-tallet, noe som gjør den til en av Belarus’ eldste byer. Arkeologiske undersøkelser har påvist bosetninger fra 4/500-tallet litt lenger oppe langs elven Bjarezina. Under Vladimir I av Kiev var den en landsby der byen ligger i dag, som primært livnerte seg av fisking og pelsdyrjakt. Etter Kievrikets fall kom området inn under Polen-Litauen, og Babrujsk ble et viktig militært støttepunkt. På 1300-tallet ble det bygget en festning på en av høydene nær elven.