Die klub is op 2 Junie 1907 gestig deur Hermann Pöpper, die 14-jarige seun van 'n plaaslike bakker en 'n paar van sy vriende. Die nuwe klub se naam was FC Hohenzollern ter ere van Wilhelm II van Hohenzollern, destyds die Duitse keiser. In die 1920’s is verskeie ander sportafdelings opgerig en is die naam Verein für Leibesübungen von 1907 (F.C. Hohenzollern) aangeneem. Die huidige naam is net na die Tweede Wêreldoorlog aangeneem. Die klubkleure van blou en geel is ontleen aan die kleure van SC Victoria Hamburg.