Arken kunne ifølge skriftene ikke bæres av noen andre enn de levittene (tempeltjenerne) som hadde det som oppgave. Arken var den helligste gjenstanden i tabernakelet, og den var også det helligste i Salomos tempel. Den var plassert i «det aller helligste» (rommet), og det var kun ypperstepresten som hadde adgang. Han gikk inn i det aller helligste en gang i året for å ofre for folkets synd. Ifølge Bibelen ble arken en gang tatt av filisterne den gang Eli var dommer over Israel. Samuel ble dommer etter Eli. Israelittene tok senere arken tilbake, og den kom deretter til Kirjat-Jearim hvor den ble i flere år. I Davids regjeringstid ble den ført opp til Jerusalem på en vogn. Så holdt den på å falle av vognen, og en person tok tak i arken for å rette den opp slik at den ikke skulle falle ned. Han døde på stedet. Arken ble oppbevart i et telt utenfor slottet resten av Davids regjeringstid før den ble satt inn i Salomos tempel da det ble bygd. I tempelet ble arken anbrakt mellom to store gullkjeruber.