Han ble født i Holdre i det daværende Guvernementet Livland. Kõpp gikk gymnaset i Tartu og studerte teologi ved Universitetet i Tartu, og tok kandidateksamen derfra i 1906. Han jobbet deretter noen år som gymnaslærer i Pärnu.