Klosterman var en del av overgangen til Los Angeles Rams etter at Carroll Rosenbloom byttet lag med Robert Irsay den 13. juli 1972. I beskrev Diane K. Shah Klosterman som «one of football's smoothest talkers and shrewdest dealmakers», han hadde også «annually stockpiled excess draft choices that give Los Angeles wonderful trading leverage» ifølge Paul Attner i . Fire måneder etter at Georgia Rosenbloom arvet 70 % av laget etter at ektemannen døde 2. april 1979 erstattet han den nye majoritetseierens stesønn Steve Rosenbloom som executive vice president den 16. august. Avgjørelsen kom som et resultat av en maktkamp mellom Klosterman, som hadde alliert seg med Georgia, og Steve, som hadde flyttet størsteparten av general managerens ansvarsområder til director of player personnel Dick Steinberg. Forholdet mellom Klosterman og eieren nådde etterhvert et punkt hvor han kun var en assistent som i de to siste årene med Rams i 1982 og 1983 ikke hadde lov til å besøke kamper eller lagets fasiliteter. Han hadde en personlig konflikt med Dominic Frontiere, Georgias nye ektemann. Han hadde også vært syndebukk for et søksmål fra Fred Dryer som ble plassert på waivers av hovedtrener Ray Malavasi før 1981-sesongen til tross for at laget hadde valgt å bruke en kontraktsklausul for å beholde ham for $250 000.