Baumgart wurde als Sohn eines Arztes und einer Krankenschwester in einer Vorstadt von Breslau geboren. Gegen Kriegsende wurde der Vater nach Königshütte in Oberschlesien versetzt. Auf der Flucht von dort überlebte Baumgart als 15-Jähriger im Februar 1945 den großen Bombenangriff auf Dresden. Bei Verwandten im Allgäu arbeitete er, bis er wieder zur Schule gehen durfte. Nach dem Abitur 1947 studierte Baumgart Geschichte, Anglistik und Literaturwissenschaft an den Universitäten München, Glasgow und Freiburg, wo er 1953 bei Walther Rehm über die Ironie bei Thomas Mann promovierte (Mann nahm die Dissertation wohlwollend zur Kenntnis, wie den später veröffentlichten Tagebüchern zu entnehmen ist). Nach einem Jahr als Lektor für Deutsch an der Universität Manchester entschied sich Baumgart gegen eine Universitätslaufbahn. Von 1955 bis 1962 arbeitete er als Lektor (u. a. von Ingeborg Bachmann) im Piper Verlag, dann als freier Schriftsteller und Kritiker.