L'Istituto ebbe origine con R.D. del 22 ottobre 1812 n. 1524 con il nome di Archivio provinciale di Terra d'Otranto. L'inizio del suo effettivo funzionamento si ebbe soltanto dopo circa un ventennio, allorché l'originaria intitolazione venne modificata in quella di Archivio provinciale di Stato con R.D. 22 settembre 1832 n. 1391. Successivamente, con legge 22 dicembre 1939 n. 2006, la denominazione cambiò ancora in Sezione di Archivio di Stato che restò in vigore fino al 30 settembre 1963, giorno di emanazione del DPR n. 1409 che stabilì l'attuale nome di Archivio di Stato.
La prima sede dell'Istituto fu in via Umberto I, nel cuore del centro storico della città, nei locali del convento dei padri Celestini. Nei primi anni Sessanta del Novecento avvenne il trasferimento nell'attuale sede di via Sozy Carafa, 15.
