Von 1904 bis 1920 leitete Kapp die Musikschule im russischen Astrachan. Oft besuchte er in dieser Zeit seine estnische Heimat. Nach der Revolution in Sowjetrussland und der drohenden Hungersnot ging Kapp nach Estland zurück.