里港乡史上曾发生多次重大闽粤械斗，乡内白志庙、红庙皆因此而建。据双慈宫石碑记载，里港地区原有粤民信仰三山国王庙。该庙于道光12年（1832年）闽粤械斗后遭废祀，改为福德正神，后再请回池府王爷镇守，即今过江村代天府。此事件后，众乡绅原基于安全的理由而兴建里港城，但于日治后期拆除。里港被二重溪一分为二，昔日为一渡口。溪北地区在日治中期废县置厅时设为土库区，溪南地区则为阿里港区，为阿缑厅阿里港支厅（该支厅范围为今之里港、高树、盐埔、九如）所辖。1920年台湾地方改制，将土库区与阿里港区合併，并易名为「里港」，