Rugby blir ofte tillakgt å være det geografiske midtpunktet i Nord-Amerika, og dette er markert med en steinobelisk i byen, med teksten «Geographic Center of the North American Continent» («Nord-Amerikas geografiske midtpunkt»). Om dette er det eksakte punktet er imidlertid omdiskutert.