På 1200-tallet var forløperen til «brødhuset» en trebygning hvor bakere solgte brødet sitt på markedet, derav navnet. Det ble erstattet på 1400-tallet av en stenbygning som huset administrasjonen til hertugen av Brabant og fikk de franske tilnavnet (hertugens hus). Da hertugdømmet ble erobret av habsburgerne ble tilnavnet på huset endret til (kongens hus). I 1873 ble det da ganske forfalne huset restaurert i nygotisk stil.