Teike ble født i Stettin-Altdamm som sønn av en smed og var den yngste i en søskenflokk på 14. Han begynte å studere musikk hos Paul Böttcher i Wolin da han var 14, og spilte flere blåseinstrumenter. 19 år gammel ble han i 1883 med i hæren i Württemberg som oboist i det 123. König Karls Regiment. Han ble stasjonert i Ulm, hvor han også spilte valthorn og perkusjon for lokale teaterorkestre. Det var her han begynte å skrive militærmarsjer, hvorav Alte Kameraden (1889) er den mest kjente. Men korpslederen hans likte ikke marsjen (), og dette førte til at han sluttet i hæren.