Borgbjerg var sosialminister fra 1924 til 1926, og undervisningsminister i perioden 1929 til 1935. Han var i årene 1898 til 1936 innvalgt til Folketinget.