Piip oli koulutukseltaan opettaja ja opiskeli Viron lisäksi Pietarin yliopistossa. Vuodesta 1919 hän toimi kansainvälisen oikeuden professorina Tarton yliopistossa. Hän ehti myös toimia lehtimiehenä, ja oli 1906–1907 kuressarelaisen lehden toimittaja, 1923 Vaba maa -lehden päätoimittaja. Hän toimi diplomaattina ja oli maansa edustajana Pietarissa ja Lontoossa, ja osallistui Pariisin ja Tarton rauhaneuvotteluihin. Pääministerinä Piip oli 25. lokakuuta 1920 – 25. tammikuuta 1921. Myöhemmin hän toimi useasti Viron ulkoministerinä.