Wilke toca guitarra de los ocho años, lo que en conjunto a su crianza políticamente cargada lo condujo a la música punk; formando su primera banda, Die Kinder, a los 12 años.