Rice kom tilbake til Arsenal i 1984 som trener for ungdomslaget, en jobb han hadde i 12 år, og ledet laget til seier i FA Youth Cup i 1988 og 1994. I september 1996 var Rice for en kort periode midlertidig manager etter at Stewart Houston sluttet i klubben (Houston var da selv midlertidig manager etter at Bruce Rioch fikk sparken). Rice ledet laget i tre ligakamper (Arsenal vant alle tre) og i 3-2 tapet mot Borussia Mönchengladbach hjemme i UEFA-cupen. Etter at Arsene Wenger tok over som manager senere den måneden, ble Rice assisterende manager i klubben. Den jobben hadde han frem til hans siste kamp, 13. mai 2012. Kampen som ble spilt borte mot mot West Bromwich Albion FC endte 3-2 i favør Arsenal og sikret 3.-plassen i den hjemlige ligaen den sesongen. Rice har spilt en viktig rolle i klubbens suksess på slutten av 1990-tallet og inn i det nye årtusenet, bl.a. «the Double» i 1998 og 2002, og Arsenals uslåelige ligasesong i 2003–04. Han har æren av (sammen med keepertreneren Bob Wilson) å ha vært med på, som spiller eller trener, alle de tre «the Double»-titlene som Arsenal har tatt.