I./JG 54 ilk olarak Temmuz 1939'da I./ JG 70 olarak kuruldu. 15 Eylül 1939'da I./JG 70, I./JG 54 olarak yeniden adlandırıldı. II için ilk birim ataması. /JG 54, I./ JG 138 idi . Bu birim, Avusturya Anschluss'undan sonra 1938'de yetiştirildi ve birçok Avusturya vatandaşını içeriyordu. I./JG 138, II oldu. /JG 54, 6 Nisan 1940. III. /JG 54 başlangıçta I./ JG 21 olarak yükseltildi ve III olarak yeniden adlandırıldı. /JG 54, 15 Temmuz 1939'da, değişikliği ancak bir yıl sonra gösteren resmi kayıtlarla gerçekleşti. Böylece, III. /JG 54, Polonya ve Fransa'da I./JG 21 olarak savaştı.