Elva ble grunnlagt like etter at jernbanelinjen Tartu-Valga ble opprettet i 1886–1889. Første gangen Elva ble omtalt i en estisk avis var i 1889, og området vokste raskt fordi det lå strategisk ved jernbanen og i et naturskjønt område. Arbisjøen og andre innsjøer nær bysenteret er mye brukt til rekreasjon, og maleren Eduard Kutsar (1902–1970) beskrev kommunens natur og tette furuskoger i sine malerier. Maleriet fra 1938 er særlig berømt. ender sin trasé i Elva, på et sted hvor mange vandringsveier har sitt utgangspunkt.