De første sikre kilder som nevner Zjytomyr er fra 1240, da Batu Khan ødela byen under Mongolenes invasjon av Russland. Fra 1320 kom byen under Storhertugdømmet Litauen, før den etter Lublinunionen i 1569 kom under den polske kronen. I Polens andre deling tilfalt byen Russland. Fra 1920 ble byen liggende i Sovjetunionen.