Tusentals fans på väg mot utgångarna efter 74 minuter - klubben bildades 1874 - i protest mot lagets belägenhet och ägare Randy Lerner.
"Jag koncentrerar mig på mitt jobb", sade fransmannen Garde, vars sida är längst ner på bordet, åtta punkter från säkerheten.
"Jag har inga kommentarer om fansen. Det är något väldigt djupt, väldigt gammalt. Mitt jobb är svårt nog."
Villafans har riktat en hel del ilska mot American Lerner, som köpte West Midlands klubben 2006.
De är upprörda över bristen på investeringar och beslutsfattandet på klubben, men spelarna har också kritiserats för en upplevd brist på vilja.
Aston Villa fan Mark Bricknell, en av organisatörerna av protesten, sade till BBC Radio 5 live: "Detta har kommit i sex år.
"Vi kan inte säga att vi är glada att behöva göra detta.
Klubben har misslyckats med att stoppa vad supportrar har sett komma och det är ner till total inkompetens från ägaren.
BBC Radio 5 live fotbollsreporter Pat Murphy, som har täckt Villa i mer än fyra decennier, tillade: " Stämningen börjar bli ful.
"Jag minns demonstrationerna mot Doug Ellis, men han måste verka vara en bra ordförande i efterhand.
"Det här är det värsta laget jag sett på 41 år av rapportering om Villa."
En publik på 29.755 var på Villa Park på tisdag för att titta på förlusten till Everton, Villas 18: e ligan nederlag för säsongen.
I toppflyget sedan 1988, Villa har vunnit bara tre av sina 28 liga matcher hittills den här säsongen och har bara 16 poäng.
De är inte matematiskt nere ännu men inför fjärde plats Manchester City och Tottenham - som kommer att gå överst på bordet med en seger på West Ham på onsdag - i sina nästa två matcher.
Garde, utsedd i början av november, fortfarande tror Villa kan behålla sin Premier League status men medger att situationen "blir svårare".
"Vi måste hålla ihop", sade den 49-årige före detta Lyon chefen. "Om inte, har vi ingen chans."
Om Villa går ner tror Joey Barton - som har förvisats från Premier League med både Newcastle och QPR - att de kan kämpa i den andra nivån.
"Jag tycker synd om manager Remi Garde som fartyget hade massiva hål i det när han tog över," Burnley midfielder, vars är toppen av mästerskapet, berättade BBC Radio 5 live.
"Det är inte ett lag utrustat för Championship fotboll. Villafansen visar missnöje och du kan inte klandra dem.
"Randy Lerner och styrelsen - jag har kallat dem muppar innan - och ingenting har förändrats.
"Om du inte spenderar i januari och säger att du kommer att förbereda för livet i mästerskapet, varför inte börja spela några barn från akademin?
"De visar åtminstone lite passion."
Se dagens match på onsdag på BBC One och online - 22:45-00:15 i England, 23:45-01:15 i Skottland & NI; 23:20-00:00 i Wales.
Aston Villa manager Remi Garde vägrade att kritisera supportrar för att gå ut under 3-1 hem nederlag av Everton.