Die 1823 unter dem Namen Wattsville eingerichtete Stadt lag in der Nähe des Zentrums von Houston County und diente als dessen Gerichtsgebäude. Der Name wurde bald geändert, um Commodore Oliver Hazard Perry, einen Helden des Krieges von 1812, zu ehren. Die Georgia General Assembly gründete die Stadt am 9. Dezember 1824. Die ursprüngliche Stadtgrenze war ein Kreis mit einem Durchmesser von einer Meile, außer dort, wo sie im Norden vom Big Indian Creek begrenzt wurde. Im 19. Jahrhundert war der Anbau von Baumwolle von Bedeutung.