שנת 884 נחשבת כשנת יסוד העיר. לפי האגדה השם בא משותפם של אסקולד ודיר, מייסדי רוסיה העתיקה, ז'יטומיר. העיר הייתה מרכזם של שבט ז'יטצ'ים, אחד מהשבטים הסלאווים העתיקים. ב-945 בעיר התחיל מרד אנטי-פאודלי. ב-1240 נכבשה על ידי הטטרים. ב-1320 על ידי הליטאים. ב-1444 קיבלה זכויות מגדבורג. לאחר הסכם איחוד לובלין ב-1569 חלק מפולין. מאז ז'יטומיר נחשבת למרכז המחוז. ב-1793 לאחר חלוקת פולין השלישית צורפה לרוסיה והוכרזה כבירת חבל ווהלין. ב-1918 בזמן מלחמת האזרחים בעיר פעלה מספר שבועות ממשלת הרפובליקה העממית של אוקראינה. במרץ 1919 התרחשו בעיר כמה פוגרומים נגד הקהילה היהודית שנערכו על ידי חיילי ממשלת הרפובליקה. לאחר ניצחון הבולשביקים במלחמת האזרחים נכללה ז'יטומיר באוקראינה הסובייטית. בתקופת השלטון הסובייטי עברו על העיר תלאות ההולודומור כביתר חלקי אוקראינה.