"De Swaene" is in de 14e eeuw vermeld als een herberg met tuin. In 1523 liet de eigenares Apollonia van Oudergem het huis herbouwen met een houten gevel gealigneerd op de naburige gebouwen. Na het Franse bombardement werd het gebouw in 1698 een tweede keer herbouwd door de financier Pierre Fariseau, medestichter van de muziekacademie. Hij deed daarvoor een beroep op architect Cornelis van Nerven. In 1720 werd De Zwaan eigendom van het beenhouwersambacht. Een chronogram op de voorgevel herinnert eraan dat de slagers in dat jaar het bovengedeelte verbouwden met de opbrengsten van wolverkoop. De drie allegorische standbeelden van Jan de Kinder op de kroonlijst werden in 1899 vervangen door werk van Charles Samuel. Ze beelden respectievelijk "de beenhouwerij", "de overvloed" en "de landbouw" uit.