Det er en lang og komplisert organisasjonshistorie som ligger bak Kuben i Arendal. Allerede i 1832 fikk Arendal sitt museum, som også var arkiv og bibliotek. Byens skole var eier av institusjonen, som i 1840 kunne flytte inn i eget bygg på toppen av Tyholmen. I 1872 flyttet museet inn i den nye skolebygningen like ved. Arendalskrakket skulle bremse utviklingen, men i 1907 ble Arendal bibliotek utskilt som egen institusjon etter ønske fra Kirkedepartementet. I 1939 vedtok Arendal kommune at et nytt museum skulle bygges på Langsæ gård, men krigen gjorde at dette ble utsatt. Et stort fylkeskomfattende friluftsmuseum rundt Langsæåsen ble planlagt. I 1951 påtok Aust-Agder fylke seg et medansvar for museet, som da fikk et fylkesomfattende ansvar; navnet ble endret til Aust-Agder-Museet og Albert Ugland ble ansatt som fylkeskonservator og museumsbestyrer. På Langsæ sto første byggetrinn ferdig i 1958, samme år som Aust-Agder-Arkivet ble utskilt som egen institusjon. AAA og AAM var, fra 1958 til 1995, underlagt ett styre som var felles for begge institusjonene. I 1995 ble Aust-Agder-Arkivet omgjort til et interkommunalt selskap, og påtok seg oppgaven som depotinstitusjon for kommunale arkiver. I 1997 ble Aust-Agder museumstjeneste opprettet som en fylkeskommunal instans.