Etter Tysklands gjenforening innledet statsadvokaten i Berlin etterforskning mot Baumgarten og andre generaler i grensetroppene. 27. oktober 1995 begynte rettssaken mot ham og flere andre tiltalte. 10. september 1996 ble Klaus-Dieter Baumgarten dømt til 6 år og 6 måneders fengsel for 11 drap og fem drapsforsøk på flyktninger. De medtiltalte ble også dømt.