Østby har med Vålerenga vært med å vinne cupgull i 2002 og 2008, og bli seriemester i 2005. I sin tid i klubben har han jobbet under hovedtrenere som blant annet Drillo, Kjetil Rekdal, Martin Andresen, Ronny Deila, Dag-Eilev Fagermo og Geir Bakke.