Chris Grayling sa till MPs att det inte skulle vara "sensibil" att spendera skattebetalarnas pengar på översättningsfaciliteter men sade att regeringen skulle kunna se över förbudet om en ny MP inte kunde tala engelska.
Han svarade på ett samtal från sin labourskugga, Chris Bryant, som föreslog att parlamentsledamöter skulle få tala walesiska under möten i den walesiska storkommittén.
Bryant frågade honom: "Jag förstår att detta parlaments språk är engelska men walesiska är modersmål för många av mina landsmän och väljare, så är det inte dags att vi tillåter walesiska i det walesiska stora utskottet?"
Jean-Pierre Grayling svarade: " Jag har tänkt igenom detta noga. Med tanke på att engelska är parlamentets språk och med tanke på att det skulle kosta skattebetalarnas pengar att göra en förändring just nu, anser jag att vi, om någon kommer till denna kammare som inte kan tala engelska, kan behöva titta på denna fråga igen, men jag anser att vi har övervägt denna fråga mycket noggrant och att vi bör behålla den situation där engelska är parlamentets språk."
Parlamentsledamöter har kunnat tala walesiska när den walesiska storkommittén (som består av alla parlamentsledamöter från Wales) har sammanträtt i Wales och den walesiska kommittén (som består av 11 valda parlamentsledamöter) har tagit ställning i walesiska vid Westminster.
Graylings kommentarer retade Cynon Valley Labour MP Ann Clwyd, som sade till honom: "Får jag påminna er om att några av oss svor eden att ansluta sig till parlamentet både på engelska och walesiska, och jag skulle vilja be er att titta på förslaget att använda walesiska i det walesiska storutskottet igen? Några av oss talade inte engelska förrän vi var fem år och de flesta av oss är nu tvåspråkiga, men ändå är det walesiska språket och dess status mycket viktig."
Han sade till henne: " Naturligtvis förstår jag absolut behovet av att skydda det walesiska språket och faktiskt mellan olika förvaltningar under den senaste generationen omfattande åtgärder har vidtagits för att skydda det walesiska språket, för att göra det mycket en del av rutinlivet i Wales.
"Min fråga till er är verkligen: i en tid av ekonomiskt tryck, är det verkligen förnuftigt för oss att spendera skattebetalarnas pengar i ett hus där huvudspråket, huvudspråket, det officiella språket är engelska, när vi har ledamöter i denna kammare som kan tala på det språket? Så länge det är så har jag övervägt det noga men jag tycker inte att vi ska ändra på saker och ting."
Vi pratar om det.
Ledaren för underhuset har avvisat parlamentsledamöternas uppmaningar att upphäva ett förbud mot att tala walesiska i Westminster.