Endre Frøysa var sønn av fisker Sverre Frøysa (1899–1973) og Hildur (1903–1978). Han ble gift 1954 med lærer Svanhild fra Hølonda (1931–2014). De hadde ingen barn.