Klostermann var sønn av bokhandleren Eckard Klostermann i Jena. I 1920 gikk han i bokhandlerlære hos Fromannsche Hofbuchhandlung i hjembyen; to år senere arbeidet han for Cohen-antikvariatet i Bonn, som han ledet fra 1924. Ved siden av studerte han økonomi, og avsluttet studiene ved et opphold i München fra 1926 til 1928. I 1930 grunnla han forlaget Verlag Vittorio Klostermann i Frankfurt am Main, som spesialiserte seg på blant annet filosofi, bibliografi, rettshistorie, romanistikk, arkeologi og kunsthistorie. Klostermann opparbeidet forlaget til et ansett vitenskapelig forlag, og utga blant annet bøker av Max Kommerell og Martin Heidegger. Han var en av grunnleggerne av den internasjonale bokmessen i Frankfurt.