Der Verfassungsentwurf der Südafrikanischen Union 1909 bestärkte Gumede in seiner politischen Auffassung und Tätigkeit, da er die Stellung und Rechte der schwarzen Bevölkerung kaum berücksichtigte. Seit 1910 brachte er sich verstärkt in den NNC ein mit dem Ziel, die beiden Verbände in Pietermaritzburg und Durban zu vereinen, was 1912 zur Gründung des "South African Native National Congress" (SANNC) in Bloemfontein führte. Gumede wurde in den geschäftsführenden Rat gewählt und war 1913 Mitglied einer Deputation zum Inspektor der Schulen für Schwarze. 1919 war er Deputierter des SANNC für die Versailler Konferenz und mit Sol Plaatje beim britischen Premierminister David Lloyd George, beim Erzbischof von Canterbury sowie im House of Commons. Die Beschwerden, die sie vorbrachten, führten nicht zum gewünschten Erfolg, Lloyd George attestierte Louis Botha einen „edlen Charakter“ und sagte nur zu, mit Jan Christiaan Smuts darüber zu sprechen, wem der SANNC seine Beschwerden vorbringen könne. Gumede blieb bis 1922 in Großbritannien und nahm Kontakt zu verschiedenen Parteien und Organisationen auf, unter anderem mit der Independent Labour Party und der pazifistischen "Union of Democratic Control".