Geologisk består Schwarzwald av et sandsteinlag over en kjerne av gneis. I siste istid ble Schwarzwald formet av isbreer, og flere dalgryter, bl.a. Mummelsee, har sitt opphav fra denne perioden. Av elver i Schwarzwald finner man Donau (som har sitt utspring her), Enz, Kinzig, Murg, Neckar og Rench. Schwarzwald er en del av det kontinentale vannskillet mellom Atlanterhavet (Rhinen) og Svartehavet (Donau).