Stille er født i København, faren kom som flyktning fra Tyskland til København i 1933. Kurt flyttet til Norge i 1958, (etter 3 år som musiker i Finland) for å utvikle seg som skøyteløper og har siden vært bosatt i Norge.