Aksiliklere rağmen, Derwall Batı Almanya teknik direktörü olarak Fransa'da düzenlenen 1984 Avrupa Futbol Şampiyonası'na katıldı. Favorilerden biri olarak gösterilmesine rağmen Batı Almanya Fransa’da başarılı olamadı ve Derwall’in takımı ilk turda elendi. Almanya’daki kamuoyu hızla Derwall’e karşı tersine döndü. Derwall görevinden istifa etmeye zorlandı ve yerine Franz Beckenbauer getirildi.