Den Milton Keynes-baserade 32-åringen var en 2012 bud ambassadör och Spel deltagare, men ifrågasatte sitt arv.
"Landet var så förenat 2012 och alla var att gå sport galen, men det verkar konstigt att ingen verkligen kapitaliserade på det," sade han BBC Sport.
"Inte bara bordtennis, men jag skulle vilja se de andra sporterna du inte ser."
Siffror från Sport England visar att medan fotboll, cykling, cricket och friidrott har sett ökat deltagande, badminton, skålar och basket har upplevt minskande antal.
Baggaley är Englands mest framgångsrika manliga bordtennisspelare genom tiderna på Commonwealth Games, och tror att arvet från London 2012 har resulterat i blandade förmögenheter för sin sport.
"Jag tror rekreation 2012 arv har varit framgångsrik," sade han. "Min bror är en bordtennistränare och han har massor av människor som kommer till hans sessioner nu.
"Det har varit otroligt, men på toppnivå syns inte bordtennis. Den behöver stora evenemang på TV som kommer att driva den framåt som en stor sport. "
Baggaley vann världsmästerskapet i Ping Pong tidigare i 2015, och är redo att ge sig ut på säsongen 2015-16 med Rio 2016 OS mindre än ett år bort.
"Jag har precis kommit tillbaka från träningen i Kina. Jag känner mig vass och jag är rar att gå med självförtroendet att vinna Ping Pong turnering ", sade han.
"Jag vill ge OS 2016 en chans. Jag måste spela mitt livs bästa bordtennis för att se om jag kan komma dit.
"Age är egentligen inte en oro så länge du är frisk och frisk. Jag är vass, jag känner mig fräsch och jag har arbetat fysiskt hårt."
London 2012 Olympic bordtennisspelare Andrew Baggaley säger att det är "orange" att minoritetssporter inte har kapitaliserat på spelen.