Nach seiner Genesung wurde Kleemann wiederum in die Führerreserve versetzt und erhielt Ende Mai 1943 den Befehl über die neugebildete Sturm-Division Rhodos. Mit seiner Division führte er im September 1943 im Fall Achse die Entwaffnung der italienischen Garnison auf der zu Italien gehörenden Insel Rhodos durch und nahm deren Befehlshaber Inigo Campioni gefangen. Dies trug maßgeblich zum Scheitern des britischen Dodekanes-Feldzugs bei.