Han tilhørte en gammel nordlands presteslekt. Farfaren med samme navn hadde vært sokneprest på Vega og i Lødingen, og faren, Erik Schytte, var prost i Bodø og titulær professor i teologi. Erik Schytte hadde mot farens vilje studert medisin og blitt i Bergen, men så føyet sin far og studert teologi. Han ble sokneprest i Buksnes i 1761 og senere prost i Lofoten og Vesterålen, før han i 1776 tiltrådte som sokneprest og prost i Bodin. Hans mor var Anna Jentoft fra Buksnes, av Erik Schytte beskrevet som en «en meget from og føielig hustru». Arnoldus hadde tre søsken. Broren Hartvig var sjømann og døde i Afrika i ung alder. Søsteren Lucie Bonsach Schytte gift med Jacob Klæbo, han ble senere sokneprest i Skjerstad. Den yngste søsteren Sara Rasch Schytte overlevde to ektemenn og var gift tre ganger, først med fogd i Salten Jon Rygh, så med fogd, senere amtmann Johan Ernst Berg og tilsist med distrikstlege Johan Friedrich Winter.