有如八卦之图，曾有《八卦山》一诗道：「晓登八卦山，归来读周易；掩卷一回思，山形尤历历。」指的便是八卦山之形状。另一说是由于知县胡应魁认为全八卦山脉境内层峦起伏却无主峰，卦象不佳，人民剽悍好斗，是故于县署后的八卦山建「太极亭」，《易经》有云：「易有太极，是生两仪。两仪生四象，四象生八卦。」因此称此山为「八卦山」。但最广为大家接受的说法则与天地会有关：天地会在八卦山一带的活动十分的频繁，林爽文、陈周全、戴潮春等人的起义都曾涉足此地，而天地会之「天地」谓之「干坤」，而《易经》中的「两仪」指的便是「干坤」，