Né à Bagamoyo, en Afrique orientale allemande, Scherner étudie dans une école "Kadettenschule" (école militaire cadets) dans l'Empire allemand de 1905 à 1914. En 1914, il rejoint la Reichsheer. Après avoir quitté l'armée en 1920, il rejoint la où il participe trois ans plus tard au Putsch de la Brasserie. En 1932, il rejoint la SS et le Parti nazi. En 1937, il prend la direction de l'école de formation des SS à Dachau. De septembre à , il commande la division SS de montagne « Reinhard Heydrich », puis jusqu'en hiver 1940 la SS Totenkopf-Standarte. Entre janvier et , il est commandant de la garnison SS de Prague, où il supervise les préparatifs d'une création d'un centre de formation de la Waffen-SS à Benešov, en Bohême.