Al empezar la II Guerra Mundial, Kühn estaba al mando de la escuela de entrenamientos de tanques en las cercanías de Berlín, donde había estado desde el 10 de noviembre de 1938. El 10 de febrero de 1940, tomó el mando de la 3ª Brigada Panzer encuadrada en la 3ª División Panzer, que lideró en la Batalla de Francia. El 1 de julio de 1940, fue promovido a Generalmajor. Kühn y sus soldados jugaron un papel clave en la segunda etapa de la batalla, Fall Rot, cuando pudieron penetrar la línea Weygand francesa en el primer día de la ofensiva hasta una profundidad de 15 kilómetros, destruir catorce baterías de artillería y alisaron el camino para la explotación del avance. Por su decisivo liderazgo en ese día más tarde recibiría la Cruz de Caballero el 4 de julio de 1940. En septiembre de 1940 brevemente tomó el mando de la 3ª División Panzer en lugar de su comandante Horst Stumpff, quien retomó el mando el 4 de octubre de 1940, y Kühn fue seleccionado comandante de la 33.ª División de Infantería el 5 de octubre de 1940. La 33.ª División de Infantería se convirtió en la 15ª División Panzer el 11 de noviembre de 1940, con Kühn al mando. El 22 de marzo de 1941 intercambió el mando de la 15ª División Panzer con el Generalleutnant Heinrich von Prittwitz und Gaffron, y tomó el mando de la 14ª División Panzer, que lideró en la Invasión de Yugoslavia.