县设置于西汉初，至今有两千余年历史。夏商时期，巨野地属徐州北境；西周至春秋为鲁国西境，是鲁哀公西狩获麟之地；战国时属宋，后改属齐国；秦属砀郡；汉至三国时期属山阳郡；晋至南北朝为高平郡；隋朝时期，巨野分属郓州、曹州和金乡县；唐至五代属河南道郓州；宋归属济州；元明时属济宁府、兖州府；清雍正十三年改属曹州府；民国十七年为山东省直属县；1953年归属菏泽专区；1958年改属济宁专区；1959年改归菏泽专区，2001年菏泽地区改为菏泽市，巨野县属菏泽市管辖。近代在此麒麟镇磨盘张庄发生了着名的“巨野教案”。