Según el censo de 2000, Penn Yan cuenta con 5.219 habitantes, 2.141 hogares y 1.261 familias.