Han var sønn av Anton Østby og Kristine Nygaard. Faren var stasjonsmester. Birger Nygaard-Østby var utdannet ved Statens Tannlægeinstitutt i 1927 og giftet seg 1932 med Elsa Hoff (1907–1977). Etter noen år med privat praksis på Vinderen i Oslo, ble han assistent hos professor Immanuel Ottesen (1874–1955) ved Norges Tannlegehøyskole og innledet banebrytende forskning knyttet til rotfylling og betennelse som i 1939 ga ham en doktorgrad fra Universitetet i Oslo, delvis basert på et samarbeide med den tsjekkiske odontolog Karl Häupl (1893–1960) som hadde virket i Norge fra 1923 til 1934. Han var den tredje tannlege med doktorgrad i landet før den andre verdenskrig. De andre var Guttorm Toverud (1896–1969), også kjent som «barnetannpleiens far», og Ingjald Reichborn-Kjennerud (1901–81), sønn av medisinalhistoriker Ingjald Reichborn-Kjennerud (1865-1949).