Alfons Rebane trat nach dem Studium in die estnische Armee ein, der er bis zur Besetzung Estlands 1940 durch die Rote Armee als Offizier diente. Nach dem Einmarsch der Wehrmacht 1941 schloss er sich dieser an und wurde der 15. Ski-Kompanie des Polizei-Bataillons 184 zugeteilt. Im Winter 1941/42 wurden wegen der angespannten Lage auch Polizeieinheiten an die Front geschickt. Im Juni 1942 erfolgte seine Beförderung zum Major und Kommandeur des Freiwilligenbataillons 658. Während der Kämpfe im Januar 1944 gelang es diesem Bataillon eine Frontlücke bei Nowgorod zu schließen. Hierfür wurde ihm am 23. Februar 1944 das Ritterkreuz des Eisernen Kreuzes verliehen. Alle estnischen Freiwilligeneinheiten wurden später in die Waffen-SS übernommen und der 20. Waffen-Grenadier-Division der SS (estnische Nr. 1) zugeteilt. Im April 1944 wurde Rebane Kommandeur des II. Bataillons des SS-Infanterie-Regiments 47, am 26. Juli 1944 übernahm er dann das SS-Infanterie-Regiment 46. An der Narva-Front erlitt die Division 1944 eine vernichtende Niederlage. Nachdem die Rote Armee Estland zurückerobert hatte, wurde die Division nach Neuhammer zur Auffrischung verlegt. Am 9. November 1944 wurde Rebane zum SS-Obersturmbannführer befördert, im März 1945 folgte noch die Beförderung zum SS-Standartenführer. Zu diesem Zeitpunkt kämpfte die Division bereits im Rahmen der Heeresgruppe Mitte in Schlesien und dem damaligen „Reichsprotektorat Böhmen und Mähren“. Außerdem wurde er bei Kriegsende, nachdem der Divisionskommandeur Augsberger bei den Kämpfen an der Ostfront fiel, stellvertretender Kommandeur der 20. SS-Waffen-Grenadier-Division.