Nach seinem Besuch der Duncanville High School in Texas wechselte Ostertag an die University of Kansas. Nach vier Jahren für die "Jayhawks" wurde Ostertag im NBA-Draft 1995 von den Utah Jazz in der ersten Runde an 28. Stelle ausgewählt. Er etablierte sich schnell als startender Center der Jazz und erreichte mit diesen 1997 und 1998 das NBA-Finale. Jedoch scheiterten die Jazz beide Male an den Chicago Bulls um Michael Jordan und Scottie Pippen. Ostertag zeigte in diesen Jahren eine gute Verteidigung gegen dominante Center wie Shaquille O’Neal oder Hakeem Olajuwon, galt jedoch im Allgemeinen als offensiv sehr limitierter Center.