大刀会最早产生在1894年的山东曹县一带，由于当地洋教教会存在对百姓的欺压，当地人以“兴华灭洋，保卫身家”的口号组成大刀会，后演变为“扶清灭洋”。1896年6月，江蘇砀山（今屬安徽）大刀會首領龐盛選（龐三傑）向山東曹、單等縣大刀會求援，以反擾教會。山東大刀會首領劉士端即派彭桂林帶領會眾千余至碭山，焚燬劉堤頭外國教堂。銅山（今屬江蘇）、豐縣、蕭縣（今屬安徽）及山東等地大刀會紛起響應反對教會，被清政府山東及江蘇的駐軍鎮壓。次年7月，碭山縣大刀會眾再次攻打教堂，銅山、豐縣會眾準備再次起事，旋遭鎮壓。同年山東大刀會在曹州殺死兩名德國教士和眾教民，引致德國出兵，清政府戰敗，割膠州灣。大刀會的反洋教暴亂，是早期義和團運動興起的前驅之一。辛亥革命時期，山東的大刀會眾也曾支持過革命黨人張繼、宋教仁等。但該會亦曾被地主階級利用來反對農民起義。