Den første kirkebygget i indre Varanger ble oppført på Angsnes i 1719. Det ble revet 1746 og fraktet til Nesseby. Kirkegården eksisterer fremdeles, men er i dag svært overgrodd.