Forløperen til handelshuset var en handelsforretning grunnlagt av Ole Smith Ploug. Ploug-familien bodde i et hus på adressen Skagen 18, og etter at Ole Smith Ploug bygde på huset i 1769 fikk forretningen hans sitt hovedkontor i denne bygningen.