Østerberg stammet fra et bondemiljø i Beitstad i Nord-Trøndelag og var gift inn i det gryende borgerskapet på Steinkjer. Etter examen artium 1921 studerte han jus ved universitetet i Kristiania/Oslo og ble cand.jur. 1925. Deretter var han dommerfullmektig på Steinkjer 1926–29 og sekretær i Justisdepartementet et halvt års tid. 1930 ble han politifullmektig i Trondheim og 1932 i Drøbak. 1933 vendte han tilbake til Trondheim, som politifullmektig ved Trondheim politikammer.