El nombre Allegany proviene de la palabra nativa, "oolikhanna," que significa "hermoso río." Otros estados poseen también condados con nombres del mismo origen, sin embargo su ortografía varía: Allegany en Maryland y Nueva York, Allegheny en Pensilvania, Alleghany en Virginia y Carolina del Norte.