Bygningen er oppført på begynnelsen av 1700-tallet, men man er usikker på hvem som var arkitekten. Senere har den blitt bygget på flere ganger, i 1787 fikk bygningen den karakteristiske fasaden med ni joniske pilastre som fortsatt står. Ole Smith Plough etablerte handelsvirksomhet i huset i 1768, senere ble virksomheten overtatt av den danske konsulen Frederik Hansen, derav har bygget også fått sitt navn.