Piip var bondesønn som tok videregående utdanning ved Kuressaare State High School og studerte ved lærerskolen i Kuldīga (som den gang het Goldingen i det nåværende Latvia). Fra 1903 til 1905 var han kontorist og skolelærer i Alūksne. Fra 1905 til 1906 var han lærer ved Emperor Nikolai Eastern Orthodox Parish School i Kuressaare, og fra 1906 til 1912 ved Kuressaare Marine School. Fra 1913 til 1915 underviste han ved Janson Merchant School i St. Petersburg (daværende Petrograd). Han studerte ved det juridiske fakultet ved Statsuniversitetet i St. Petersburg fra 1908 til 1913 og han fikk et vitenskapelig stipend mens han arbeidet ved det russiske justis- og innenriksdepartementet fra 1913 til 1916. Han studerte også ved Universitetet i Berlin i 1912.