Rozpoczęcie budowy założenia zamkowego miało miejsce w końcu XIII lub początku XIV wieku, kiedy gród uzyskał – w miejsce drewnianej – murowaną bramę i prawdopodobnie stołp. Prace nad budową murów obwodowych rozpoczęto około roku 1350 z polecenia króla polskiego Kazimierza Wielkiego.Budowę zamku odnotowują polscy kronikarze Janko z Czarnkowa oraz Jan Długosz. Według powojennych badań archeologicznych ustalono, że ceglane mury obwodowe budowano jeszcze po 1350 r., do około 1380 r. Podczas wojny domowej w Wielkopolsce (1382–1385), wg kronikarza Jana z Czarnkowa, międzyrzecki zamek stanowił jedną z baz wypadowych stronnictwa Domarata z Iwna, z których wychodziły wyprawy łupieskie na dobra buntowników. W 1474 r., dzięki zdradzie burgrabiego, Sędziwoja Żydowskiego, przejściowo zajęty przez wojska Jana II Szalonego i Macieja Korwina. W październiku 1520 po wcześniejszym ostrzale artyleryjskim zdobyty szturmem przez najemników krzyżackich pod dowództwem Wolfa von Schönburga wspomagających zakon krzyżacki w wojnie polsko-krzyżackiej. Po zniszczeniach rozpoczęto jego odbudowę, którą prowadzono do 1574 r., budując dwie okrągłe basteje.