Zur Saison 1981 wurde im Davis Cup ein abgestuftes System mit einer Weltgruppe, bestehend aus 16 Mannschaften, eingeführt. Die acht unterlegenen Mannschaften der ersten Runde spielten in einer Playoff-Begegnung vier Absteiger in die Kontinentalzonen aus. Nachdem Deutschland sein Auftaktspiel gegen Argentinien mit 2:3 verloren hatte, musste es den Gang in die Relegation antreten. In São Paulo sicherte man die Zugehörigkeit zur Weltgruppe durch einen 3:2-Sieg über Gastgeber Brasilien. Ulrich Pinner und Peter Elter gewannen dabei jeweils ein Einzel und das Doppelpaar Hans-Dieter Beutel und Christoph Zipf gewann seine Partie in vier Sätzen. In der anschließenden Saison 1982 verlor man erneut das Auftaktspiel gegen die Tschechoslowakei und das Team musste nach einer Niederlage in der Relegation gegen Argentinien den ersten Abstieg in der Cup-Geschichte hinnehmen. Allerdings gelang der Mannschaft der direkte Wiederaufstieg 1983, als man Belgien, Israel und im Finale die Schweiz besiegte. Zur Aufstiegsmannschaft gehörten Michael Westphal, Andreas Maurer, Damir Keretic und Wolfgang Popp. 1984 scheiterte Deutschland gegen Argentinien ein weiteres Mal in der Auftaktrunde, verhinderte den zweiten Abstieg jedoch durch einen klaren 5:0-Sieg gegen Rumänien. Neben Westphal, Beutel und Popp kam auch Hans Schwaier zu seinem ersten Pflichtspiel.