Madison Countys totale areal er km² hvorav 7 km² er vann. I 2000 hadde fylket innbyggere og administrasjonssenteret ligger i byen Madisonville. Fylket har fått sitt navn etter James Madison, USAs fjerde president.