Etelälatvialaiseen maalaisperheeseen syntynyt Pelše liittyi Latvian bolševikkeihin Riiassa vuonna 1915. Seuraavana vuonna hän tapasi Leninin Sveitsissä. Vuonna 1917 hän osallistui Lokakuun vallankumoukseen.