På idrettsfronten var han styreleder i Stabæk Fotball i tolv år fram til 2006 da han tiltrådte stillingen som visepresident i Norges Fotballforbund (NFF). Han var også konstituert generalsekretær i 2009, i tiden mellom oppsigelsen av Karen Espelund og utnevnelsen av Paul Glomsaker. Han gikk av som visepresident i 2010, og ble i 2011 foreslått av Divisjonsforeningen som presidentkandiat, men sa seg uaktuell da påtalenemnda i NFF innstilte påtale mot han i forbindelse med den kontroversielle overgangen da Veigar Pall Gunnarson gikk til Vålerenga. Fire personer, sportsdirektør i Vålerenga, Truls Haakonsen, sportssjef i Stabæk, Inge André Olsen, styreleder i Stabæk Fotball AS, Lars Holter-Sørensen og Tor Q. Aaserød, styremedlem i Stabæk Fotball AS, sto tiltalt for grovt bedrageri med en strafferamme på seks års fengsel, og oppmerksomheten i pressen var enorm. Loe mente i vitneboksen at hele overgangssaken var bygget på løgn fra norske medier. Det ble full frikjennelse for de fire fremtredende fotballederne.