The racial makeup of the town was 2.23% White, 90.34% Black or African American, 1.28% Native American, 0.21% Pacific Islander, 1.71% from other races, and 0.21% from two or more races.
Расовый состав "Паттерсона" по данным переписи распределился следующим образом: 73,23 % белых, 23,34 % — чёрных или афроамериканцев, 1,28 % — коренных американцев, 0,21 % — выходцев с тихоокеанских островов, 0,21 % — представителей смешанных рас, 1,71 % — других народностей.