Wolff pflegte ein vertrauliches Verhältnis zu den Bundestrainern Sepp Herberger und Helmut Schön und hatte gute Kontakte zu Vereinen und Spielern. Als wichtigstes Spiel bezeichnete er das Finale der Fußball-Weltmeisterschaft 1954, in dem Deutschland gegen Ungarn gewann, als den ihm am nächsten stehenden Spieler Uwe Seeler. Wolff lebte seit 1934 in Hamburg, war verheiratet, hatte drei Söhne und starb, nachdem er bereits einige Jahre zuvor einen Herzinfarkt erlitten hatte, im Alter von 66 Jahren an seinem letzten Wohnsitz in Norderstedt.