Filbinger ble medlem av CDU i 1951. Han ble leder for CDU i Sydbaden, og etter sammenslåingen av de fire CDU-lagene i Baden-Württemberg ble han valgt til leder for CDU i Baden-Württemberg i 1971. CDU i Baden-Württemberg var med 45 000 medlemmer det tredje største CDU-laget. På 1970-tallet ble Filbinger valgt til nestleder i CDU og hørte sammen med Alfred Dregger til høyrefløyen i partiet. Han var æresformann for CDU i Baden-Württemberg fra 1979 til sin død, og var medlem av CDUs nasjonale styre til 1981.