Nacido en Viena en el seno de una familia de clase obrera —su padre trabajó para el tranvía—, Klestil fue a la escuela en Landstraße donde hizo amistad con Joe Zawinul.