En rik familie fra Brugge fikk på 1200-tallet monopol til å innkreve avgifter på gruit (krydder til øl), og bygget et lagerhus til formålet. Bygningen ble tidlig på 1400-tallet ombygd til bolig for en velstående kjøpmann, som senere tok navn etter huset; "Van Gruuthuse" ("Fra Gruithuset"). Sønnen, Louis de Gruuthuse, bygger på en ny fløy til huset, og i 1472 også et kapell som forbinder huset til den tilstøtende kirken, Vår Frues kirke i Brügge.