Karl Stetter ble født i Ellwangen og vokste opp i Rainau-distriktet i Buch med åtte brødre og tre søstre, blant dem kirkefunksjonæren Irme Stetter-Karp.