På 1700-tallet var byen et velegnet utgangspunkt for desperate skotter som seilte til Nord-Amerika for å unnslippe fattigdom og arbeidsledighet. Denne bruken gjentok seg under hungersnøden på 1840-tallet. Begge gangene ble byen reddet av en tilstrømning av båter, som ofte gikk mellom det skotske fastlandet og Ytre Hebridene, som brukte Portrees brygge som hvilested. Byen begynte også å eksportere fisk på denne tiden, noe som bidro sterkt til den lokale økonomien.