Колледж тарихы сонау 1920 жылдан, «Қызыл мұғалімдер» курсы ашылғаннан басталады. 1922 жылы 3 қазанда Ақмола губерниясының халықтық білім беру отырысында «Педагогикалық курсты педагогикалық техникум деп өзгерту» туралы қаулы қабылданды. Қазақ педагогикалық техникумының бірінші директоры болып Жұмағали Тілеулин, ал орыс педагогикалық техникумының директоры Ф.А. Стрижов тағайындалды. Мектеп бөлімінде екіжылдық оқыту жүзеге асырылды. Алғашқы түлектер 1925 жылы бітіріп шықты. Бұл республиканың мәдени өміріндегі елеулі оқиға болды. 1925 жылы 20 маусымда «Мир труда» Губерниялық газетте былай деп жазады: «Қиын жағдайдағы бес жылдық оқудан кейін Ақмола губерниясында білім беруде күресіп жүрген адамдарға алғашқы көмек беруге мүмкіндігіміз бар. Біз 40 түлекті шығардық, олар ауылға барып, онда кеңестік еңбек мектептерін ашады. Олардың 8-і қазақ педагогикалық техникум Ақмола губерниясындағы бірінші орта арнаулы оқу орны болғандықтан, педагогикалық каұлтынан». Педдрларды дайындаумен ғана емес, сондай-ақ көпшіл-белсенді жастарды өзіне тартатын негізгі мәдени орталық болды.

Қазақстандағы ең бірінші әдеби үйірме осы оқу орнында ашылды. Оны ұйымдастырушы белгілі қазақ жазушысы, академик Сәбит Мұқанов. Осы үйірмеден Иван Шухов, Шахмет Құсайынов, Жұмағали Сайын, Әлжаппар Әбішев, Әбділдә Тәжібаев сияқты әдебиет тарландары бастау алды. Техникумның хоры мен скрипкалық аспаптар оркестрінің аты қалаға әйгілі болды. Орыс хорынан басқа қазақ хоры құрылды. Бұл хорды әйгілі композитор, қазақ халық әндерін жинаушы И.В.Коцык ұйымдастырды. Ол кейін Абай атындағы Алматы опера театрының негізін салушылардың бірі болды. Қазақ хоры радиода, мектептерде, клубтарда концерттер қойды. 1928 жылы қараша айында Бүкілодақтық Орталық Атқару Комитетінің сессиясында Қазақстан Үкіметінің баяндамасына байланысты хор Мәскеуге шақырылды. Қазақ Кеңес музыкасының тарихы очерктерінде хор концерттері Мәскеу гарнизоны бөлімдерінде, Ғылым Академиясының ғалымдары мен партия жетекшілерінің және Кремль басшыларының алдында үлкен жетістіктерге жеткендігі аталып өтілді.

Оқушыларға білімге, ғылымды терең зерттеуге деген құштарлықты баулитын үйірмелердің кең түрі жұмыс істеді. Осы үйірмелерде Қазақстанның белгілі тұлғалары айналысты: әдебиеттанушы профессор, жазушы, сыншы, ғалым, филология ғылымдарының докторы Т. Нұртазин, Қазақстанның тұңғыш кибернетигі, ғылым докторы К. Тілегенов, Петропавл педагогикалық институтының негізін қалаушылардың бірі, география ғылымдарының кандидаты, профессор Овчинников, суретші В. Манзя. Бұл жылдары техникумға қаланың ең үздік педагогика мамандары Константин Семенович Владимирцев, Степан Васильевич Логинов, Раиса Николаевна Якутович сияқты ең үздік әдіскерлер жиналды.

Педагогикалық училище Ұлы Отан соғысы жылдары ауыр кезеңдерді басынан өткерді. Оқушылар мен оқытушылар майданға көмек көрсетті: жылы киім жинады, госпитальда жұмыс істеді. Педучилище түлектері мен оқытушылары - ер адамдар Отан қорғау үшін майданға аттанды. Бұрынғы директор Усов атақты әскербасы болды (кейін генерал-лейтенант), 1941 жылдың түлегі Кеңес Одағының Батыры, 177-нші атқыштар полкінің командирі, гвардия лейтенанты Ысқақ Ыбыраев Польшаны қорғауда ерекше көзге түсті.

50-60 жылдары оқу орны үлкен табыстарға ие болды, бұл жылдары педагогикалық училищені дарынды, біртума тұлғалар басқарды: Медынина Надежда Михайловна - екі мәрте Ленин орденінің кавалері, Қазақ СРО-ның еңбегі сіңген мұғалімі, Илья Павлович Залманов - Қазақ СРО-ның еңбегі сіңген мұғалімі. 1955 жылы Илья Павлович педагогикалық училищенің директоры болды. И.П. Залманов басшылығымен Петропавл педагогикалық училищесі еліміздің үздік педагогикалық оқу орындарының бірі болды. 1967 жылы 13 маусымда КСРО Жоғары Кеңесі Президиумының Жарлығымен білікті кадрларды дайындағаны үшін Қаз СРО Жоғары және орта арнаулы білім министрлігінің Петропавл педагогикалық училищесі Еңбек Қызыл Ту орденімен марапатталды.
1970 жылы педагогикалық училище педагогикалық училищелердің бүкілодақтық байқау-сайысында КСРО ХШЖК қола медалімен марапатталды.

1979-1991 жылдар аралығында Крайнов Владимир Николаевич колледж директоры болды. Оның тұсында оқытудың барлық кезеңіне есептелген тәрбие жұмысы жүйесі кең танылды және таратылды. 1978, 1986 жылдары Петропавл педагогикалық училищесі педагогикалық мекемелер арасындағы Бүкілодақтық социалистік сайысына қатысып, ауыспалы Қызыл Тумен марапатталды. Екінші Қызыл Ту біздің училищеге мәңгілік сақтауға берілді.

Абулғазиев Шамиль Тайбекұлы мемлекетіміздің тәуелсіздік алған алғашқы қиын жылдары оқу орнымызда басшылық етті. Оның қолдауымен қайтадан қазақ бөлімі ашылып, СҚМУ кафедралары мен училищенің ЦӘК аралығында тығыз байланыстар орнатылып, оқу-тәрбие үрдісіндегі орнықты оқыту ұстамын жетілдіру бойынша жұмыс жалғастырылды.

1993 жылы колледжге қазақтың атақты ақыны, педагогы, ғалымы М.Жұмабаевтың аты берілді. Бұл кездейсоқ емес: өткен ғасырдың 20-жылдары Мағжан Жұмабаев педагогикалық техникум мұғалімі болды.
2002 жылдан бастап, бұл оқу орнын Tаженова Нағима Өмірзаққызы басқарып келеді. Білім беру үрдісін жетілдірудің басым бағыттарының бірі колледжді ақпараттандыру болып табылады. 2002 жылы колледж жанында жалпы білім беретін мектеп-лицейі ашылды. 2003-2004 және 2008-2009 оқу жылдарында лицей ҰБТ нәтижесі бойынша Қазақстанның 100 үздік мектептерінің қатарына кірді.

2005 жылы «Атамекен» ақпараттық орталығы ұйымдастырылды, ол компьютерлік технологияларды пайдалану тәсілдерін зерттеу мәселесі және оларды оқу үрдісіне енгізу әдістемесін әзірлеу бойынша жұмыс жүргізеді. 
2007 жылы колледж базасында «Мирас» полилингвалды орталығы құрылды. «Мирас» полилингвалды орталығы жұмысының негізгі бағыты мынадай үш тілде оқитын мамандарды даярлау болып табылады: қазақ, орыс, ағылшын. 2010 жылы колледж 90 жылдың мерейтойын атап өтті.