Castberg ble uteksaminert ved Norges tekniske høgskole i 1924 og startet umiddelbart sin egen praksis i Tromsø som varte til 1926. Fra 1927 frem til 1932 hadde han egen praksis ved Montréal i Canada, før han fra 1933 flyttet hjem igjen og åpnet praksis i Trondheim. Castberg tegnet sammen med Jørgen Berner utvidelsen av hovedbiblioteket på NTH (1946–1948) og metallurgisk institutt samme sted (1948). Han satt også i Fortidsminneforeningens trønderske avdeling.