Det har bodd folk på Hiskjo i flere hundrede år. Gjestgiveriet kan følges tilbake til 1700-tallet. Fra den tid og opp gjennom 1800-tallet var det slekten Olrich som eide stedet. Det gamle, privilegerte handelsstedet «Kremmerhiskjo» fikk senere en konkurrent på andre siden av sundet, «Bondehiskjo». «Kremmerhiskjo» ble også drevet som skjenkested og gjestgiveri.