Ifølge kilder i litteraturen var området omkring Allerum vanskelig å dyrke opp med skoger og store kjerr- og myrenger. Kirken ble bygd på 1100-eller 1200-tallet, og ble fullført på 1400-tallet. Utenom kirken består den eldste bevarte bebyggelsen av klokkergården fra 1760, skomakergården fra 1800 og prestegården fra 1820.