Harshaville ble bygget rundt en tidlig Harsha Mill (mølle), en kornmølle som ble devet av Cherry Fork Creek. Samfunnet fikk sitt navn etter den lokale Harsha-familien. Et postkontor ble opprettet i Harshaville i 1865, og var i drift til 1909.