Gårdsanleggets ble i middelalderen kalt , etter Åfjorden, en fjord ved Hyllestad i Sogn. Gården er først omtalt i skriftlige kilder i 1309. I 1399 kjøpte Munkeliv kloster gården. Gården endret navn til tidlig på 1500-tallet. Etter brann i 1527 ble gården bygd sammen med Bellgården, og en tredje husrekke ble oppført mellom dem i halv lengde. De to gårdene deler inngangsparti i form av en felles passasjegang. Jacobsfjorden utgjør den nordre husrekken av dobbeltgården, og er geografisk plassert som nummer tre i rekken nord for Nikolaikirkealmenningen. Gården ble gjenreist etter bybrannen i 1702 og huset 3 handelsstuer. Den siste tyskfødte kjøpmann i gården var Gerhard Ohldieck fra 1786. Frontfasaden på Jacobsfjorden prydes av et forgylt hjortehode, noe som har ført til at gården også kalles . Handelsgårdene på Bryggen ble fredet av Riksantikvaren i 1927. Jacobsfjorden og Bellgårdens schøtstue ble revet og gjenoppført som en parafrase i 1939 ved schøtstueanlegget mellom Bryggen og Mariakirken. Rekonstruksjonen har til hensikt å vise hvordan schøtstuene kan ha sett ut før brannen i 1702 og er basert på målebrev og andre dokumenter, men detaljene er høyst usikre.