James Duddridge, som har lagt fram ett misstroendevotum i Bercow, sade att han hade använt sitt arbete för att "spontificera" i internationella frågor och hade talat offentligt mot Brexit.
Talmannen, som nyligen kritiserade USA:s president Donald Trump, berättade för eleverna den 3 februari att han hade röstat kvar.
Lib Dem chef piska Tom Brake sa att Mr Bercow var "jämnhänt" i sitt jobb.
Talmannens talesman sa att han hade varit "skrupelfri i att se till att båda sidor av argumentet alltid hörs".
Men på BBC Radio 4's Today-programmet sade Duddridge: "Nu räcker det.
"Vi behöver en ny mer opartisk talare."
Även om Duddridge för närvarande är den enda som har undertecknat hans förslag, sade han att han hade fått samtal från ministrar och parlamentsledamöter från olika partier som sade att de också skulle rösta för att motsätta sig Bercow om det diskuterades.
Han sade att Bercow hade gjort "en del mycket bra saker" under sin tid som ordförande, men tillade: "En av talarens viktigaste roller är att ni inte får tala om politiska frågor.
"Han har brutit mot den regeln, han har brutit sitt anställningsavtal effektivt med parlamentsledamöter - han bör avgå, och om han inte gör det, kommer omröstningen av inget förtroende att gå vidare."
Han hävdade att det skulle krävas en omröstning för att "lösta" hans förslag, även om tidiga förslag som lagts fram av parlamentsledamöter sällan göra det så långt som en Commons debatt.
Brake, ledamot av underhusets utskott, sade att det har funnits en långvarig kampanj av vissa konservativa parlamentsledamöter för att göra sig av med Bercow.
Han sa att talmannens stil "kan kännas som Marmite för vissa men i praktiken är han balanserad".
På sin blogg kritiserade UKIP MP Douglas Carswell Bercows "moraliskt perversa" hållning mot president Trump men sade att han inte skulle stödja ett försök att avsätta honom.
Carswell påpekade att allmänna debatter kommer när Storbritannien lämnar EU och tillägger: "Brexiteers bör uteslutande fokusera på att vinna dessa strider - inte att välja andra."
Innan inspelningen av hans Brexit kommentarer kom fram, Bercow, som var konservativ parlamentsledamot innan han blev talman, stod redan inför krav på att han skulle ersättas för att uttrycka sin opposition mot USA: s president Donald Trump talar parlamentet vid sitt statsbesök i Storbritannien.
Bercow talade med läselever och sade: " Personligen röstade jag för att stanna kvar. Jag tyckte att det var bättre att stanna kvar i Europeiska unionen än inte."
Han sade att detta var "delvis av ekonomiska skäl - att vara en del av ett stort handelsblock - och delvis för att jag tror att vi befinner oss i en värld av maktblock.
"Jag tror att för alla EU:s svagheter och brister är det bättre att vara en del av det stora maktblocket i världen än att tro att man kan agera lika effektivt på egen hand."
Han sade också att invandringen var bra och uttryckte oro över att Labour inte hade gjort mer för att slå en "mycket tydlig, resonant restnot".
När han valdes till talman 2009 sade Bercow att han skulle tjänstgöra i högst nio år.
Som svar på raden över hans Brexit kommentarer, hans talesman sade att han hade röstat i juni folkomröstning "tillsammans med miljontals andra".
"Rekordet visar att han strängt har underlättat oron hos dem på båda sidor av detta argument, som han gör i alla andra frågor", sade hon.
"Talarens opartiskhet krävs i frågor som debatteras i kammaren, och han har noggrant sett till att båda sidor av argumentet alltid hörs."
Frågade om premiärministern tyckte att Mr Bercow gjorde ett bra jobb, hennes talesman sade: "Talaren är en fråga för parlamentsledamöter, han är vald ordförande i underhuset, han är inte medlem av regeringen, han är inte utsedd av regeringen.
"Han företräder alla parlamentsledamöter i underhuset. Det är upp till dem att avgöra om de tycker att han gör ett bra jobb eller inte."
En konservativ parlamentsledamot som försöker driva bort talaren John Bercow säger att han ska sluta eller stå inför ett misstroendevotum.