Købmagergades historie kan følges tilbake til vikingtiden, hvor den utgjorde en del av veien fra Roskilde til overfartsstedet til Amager og Skåne ved dagens Højbro. I jordeboken fra 1380 står Købmagergade med navnet , som kan vise til en «bjørn» (= demning over vollgraven) eller til en bro over byens «renne» (= åpen kloakk). Dette var en bekk som heter Rosenåen og den gang rant gjennom Købmagergade.