Residenset , faktorierna ochhamnens