Forster ble født i Fürth i Bayern hvor han gikk på Humanistisches Gymnasium. I 1923 meldte den 21-åringe Forster seg inn i NSDAP og SA, og i 1926 ble han medlem av SS.