Riksarkivet ble opprettet som sentral institusjon under Finansdepartementet ved regjeringens res. 6.6.1817. I de første tiårene var bestyrerstillingen en bistilling tillagt skiftende embetsmenn i det nevnte departementet. I tillegg var det fra 1834 en kommisjon for ordnings- og kassasjonsarbeidet. Denne styringsstrukturen ble opphevet ved kgl.res. 23.12.1839. Riksarkivet ble fra 1840 innlemmet som et kontor i Finansdepartementet og fikk en byråsjef som riksarkivar (1841-1845 Henrik Wergeland). I 1846 ble kontoret overført til Kirke- og undervisningsdepartementet, og Riksarkivet ble ved kgl.res. 11.1.1875 skilt ut som en mer frittstående institusjon, tilknyttet det samme departementet helt fram til 1982.

Riksarkivaren var leder for Riksarkivet. Ved instruks gitt ved Kronprinsreg.res. 25.3.1904 ble han i tillegg etatssjef for Arkivvesenet (fra 1935 Arkivverket), bestående av Riksarkivet og de to stiftsarkivene (fra 1919 kalt statsarkiver) i Trondheim (1851-) og Bergen (1884-), som tidligere sorterte under vedkommende stiftsdireksjon. Stiftsarkiverne i Kristiania ble opprettet 1914. Arkivet dekket de lokale embetsarkivene fra Hamar, Kristiania og Kristiansand stift. Statsarkivet i Hamar ble vedtatt opprettet 13. juli 1917. I 1919 skiftet Stiftsarkiverne i Kristiania navn til Statsarkivet i Kristiania, og fra 1924 Statsarkivet i Oslo. Statsarkivet i Kristiansand sto ferdig i 1934-,

Av nyere statsarkiv ble Statsarkivet i Stavanger opprettet i 1970- . Forløperen var Statsarkivkontoret i Stavanger etablert i 1949. Statsarkivet i Tromsø i ble etablert i 1987-. Forløperen var Statsarkivkontoret i Tromsø, etablert i 1952. Dette kontoret var administrativt underlagt Statsarkivet i Trondheim. Statsarkivet i Kongsberg ble opprettet i 1992-.

Arkivverket omfatter også Samisk arkiv fra 2007- og Norsk helsearkiv fra 2010- .

Prosjektet Samiske arkiver startet i 1988 som et samarbeidsprosjekt mellom daværende NAVF (Norges almenvitenskapelige forskningsråd), Nordisk Samisk Institutt og Arkivverket for å sikre skriftlig kildemateriale til samisk historie. Stiftelsen Sámi arkiiva/Samisk arkiv ble opprettet 1. januar 1995. Fra 1. januar 2005 ble forvaltningsansvaret for stiftelsen overtatt av Riksarkivaren.
Interimorganisasjonen for Norsk helsearkiv ble opprettet i 2010. Det vil bli en permanent etablering på Tynset fra 2014.

Arkivverket omorganiseres fra en geografisk organisasjonsstruktur til en funksjonell struktur. En vesentlig effekt av dette er at hverken Riksarkivet eller Statsarkivene er organisatoriske enheter, men er mer å betrakte som arbeidssteder. Oppgavene løses nasjonalt, og så er det noen få tjenester som er stedbundet, som frembringing av fysisk arkivmateriale som gjøres tilknyttet materialets plassering.

Funksjonsinndeling:
- Strategi og styring
- Kommunikasjons og formidling
- Innovasjon
- Forvaltning
- Publikum
- Norsk Helsearkiv
- Interne tjenester
- Samisk arkiv

Arkivverkets organisasjonsstruktur trådte i kraft 01. november 2016.