Mediauppspelning stöds inte på den här enheten
Wellingborough Towns Martin Potton påstås ha gjort kommentarerna i ett spel som refererats av Mary Harmer.
Under ett 7-0 nederlag av Rushden och Diamonds hördes han säga Harmer var inte lämplig nog att döma en dam match, än mindre en herrmatch.
Det påstås att han gjorde ytterligare kommentarer om andra kvinnor i idrottsroller.
Han sade till BBC Sport: "Jag förnekar alla anklagelser men befanns skyldig i min frånvaro eftersom jag nekades möjligheten till en personlig utfrågning."
Lindsay England, grundare av jämställdhetsgruppen Just A Ball Game, berättade Victoria Derbyshire programmet att hon var på United Counties League Premier Division match i april förra året och hörde kommentarerna.
Hon anmälde honom till fotbollsförbundet, och andra klagade också.
Hon visste inte att han var ordförande i klubben, och hon tillade: "Ingen utmanade honom och ingen skrattade och anslöt sig till det han sade. Jag tror att han faktiskt visste vad han sa och han trodde att han fortfarande hade rätt att göra det."
Potton förbjöds för max fem matcher av en FA disciplinnämnd och bötfälldes £75 efter att ha befunnits skyldig till att använda nedsättande och förolämpande språk mot en tjänsteman. Han blev också beordrad att gå en obligatorisk undervisningslektion.
Sue Ravenlaw, chef för FA:s jämställdhets- och skyddsgrupp, sade till BBC Sport: "Närhelst diskriminerande övergrepp förekommer i fotboll, är det helt enkelt oacceptabelt.
"Vi har uppmuntrat en miljö av kollektivt ansvar från klubbnivå, med förvaltare, säkerhetsvakter hela vägen fram till oss själva. När diskriminerande övergrepp uppstår, oavsett form, bör människor vara säkra på att rapportera det."
Fallet var en av flera händelser som uppdagades under en undersökning som genomfördes av professor Sue Bridgewater vid Liverpool University för Kvinnor i fotboll.
Undersökningen, som syftar till att identifiera om kvinnor uppnår sin fulla potential inom fotbollssektorn, släpptes för att sammanfalla med Internationella kvinnodagen och är en uppföljning av en inledande undersökning som genomfördes 2014.
Mer än 500 kvinnor - från tränare, matchtjänstemän, administratörer och media - som arbetar i fotbollsindustrin svarade på 2016 års enkät.
De viktigaste resultaten visade följande:
Heather Rabbatts, medlem i FA:s styrelse och ordförande i FA:s rådgivande nämnd för inkludering, sade: " Vi har fortfarande en hel del att göra innan det finns lika villkor för kvinnor som arbetar i hela spelet.
"Surveys som denna är en bra indikator på var branschen är på några av dessa kritiska frågor och incidenter av mobbning, sexism och sexuella trakasserier, måste hanteras när och var de än uppstår i spelet."
En fotbollsordförande förbjöds att delta i fem matcher och bötfälldes efter att ha befunnits skyldig till sexistiska kommentarer om en kvinnlig domare.