Piip was lid van de provincieraad van Estland en daarna van de grondwetgevende vergadering en vervolgens van de Riigikogu. Van 1917 tot 1919 was hij diplomaat voor Estland, dat zich net onafhankelijk had verklaard, in Sint-Petersburg en in Londen. Ook nam hij deel aan de Vredesconferentie van Parijs in 1919. In 1919 was hij minister van Buitenlandse Zaken, een functie die hij later nog meermalen, steeds voor een korte periode, zou vervullen.