Etter hans 4-årige kontrakt med Oilers utløp ble han den 6. januar 1970 ansatt som general manager for Baltimore Colts, hvor han tok over for Harry Hulmes som fikk en assisterende stilling. Hovedgrunnen for utnevnelsen av Klosterman som general manager var at han var godt kjent med American Football League, som utgjorde størsteparten av American Football Conference som Colts skulle spille i fra av. Colts vant Super Bowl V etter Klostermans første år med laget.