Henrich Gerners gate 23 ble opprinnelig oppført på 1700-tallet, som en av flere bygårder i det som tidligere ble kalt "Briskebakken". Disse bygårdene var i starten eid av byens høkere, som regel i forbindelse med møllerdriften.