Alt på 1600-tallet var «Bukken» en av de sentrale gjestgiverstedene ved innseilingen til Bergen. Tidlig på 1700-tallet var det biskopen i Bergen, Nils Smed, som eide stedet. Han bodde i byen, men senere bosatte de fleste eierne seg på stedet. Blant dem var Cornelius Pettersen som kjøpte Bukken i 1793, og Jacob von Krogh overtok i 1800.