Etter at han la opp som aktiv, gikk han først tilbake til sin jobb som journalist i . I 1998 ble Ola By Rise ansatt som assistenttrener i Rosenborg. I denne rollen ble han til 2003, under hovedtrenerne Trond Sollied (1998), Nils Arne Eggen (1999-2002) og Åge Hareide. Da Hareide forlot Rosenborg til fordel for i desember 2003, overtok Ola By Rise som hovedtrener. Han hadde i utgangspunktet en toårig kontrakt som trener for Rosenborg, men fikk avskjed etter en skuffende sesong høsten 2004, til tross for at Rosenborg vant serien (riktignok med minst mulig margin) og kvalifiserte seg til Mesterligaen.