Forut for grunnleggelsen av Forbundsrepublikken Tyskland (Vest-Tyskland) i 1949, ble krigsforbrytelser under det nasjonalsosialistiske regimet etterforsket av okkupasjonsmyndighetene nedsatt av de allierte. Etter at de allierte hadde avviklet sitt okkupasjonsstyre, kom i 1958 den første store krigsforbrytersak opp for en tysk domstol. Det var i Ulm mot tiltalte Bernhard Fischer-Schweder. Det ble klart for statsadvokaten i Hessen Erwin Schüle at anklagematerialet ga et helt ufullstendig bilde av forbrytelsene. Dersom man skulle få en grundig oversikt over omfanget av forbrytelsene måtte man på tysk side få en bedre samordning av etterforskningen. Det måtte bli en samordnet innsats fra alle delstatene og man måtte også få støtte fra de allierte myndighetene som satt inne med det relevante materialet fra krigens dager. Løsningen på dette ble å opprette etterforskningsenheten .