Utenfor kirken står det som er Nesseby kommunes eldste bygning: en gammel tømmerstue. Denne stuen ble flyttet til dette stedet samtidig som Angsnes kapell ble flyttet i 1746. Stuen er like stor som våpenhuset i gamle Nesseby kirke, og kan være dette. Døren til stuen er fra 1600-tallet og stammer trolig fra kirken som stod på Vadsø-øyen og ble flyttet til Angsnes i 1718.