Narodil se jako Philip Baker do početné rodiny konstruktéra a podnikatele Josepha Allena Bakera (1852–1918), který pocházel z Kanady. Studoval na Cambridgeské univerzitě. Během studií vynikl v historii a ekonomii, kromě toho se aktivně věnoval sportu a v letech 1910–1912 byl na univerzitě prezidentem Atletického klubu. Jako běžec za Spojené království se zúčastnil letních Olympijských her v letech 1912, 1920 a 1924; v Antverpách v roce 1920 získal stříbrnou medaili v běhu na 1500 metrů. Na univerzitě v Cambridgi poté působil jako pedagog. Zúčastnil se první světové války, ale jako přesvědčený pacifista sloužil u zdravotních jednotek ve spolupráci s Mezinárodním červeným křížem. Mimo jiné se podílel na zřizování polních nemocnic ve Francii a Itálii. V roce 1915 se oženil se zdravotní sestrou Irene Noel a přijal její jméno ("Noel-Baker"). V roce 1919 byl delegátem na mírové konferenci ve Versailles a podílel se na vzniku Společnosti národů. Poté působil jako asistent Roberta Cecila a Erica Drummonda. Souběžně byl nadále pedagogem, jako profesor mezinárodního práva vyučoval v letech 1924–1929 na Londýnské univerzitě a v letech 1933–1934 na Yaleově univerzitě.