Levéltárunk története szorosan összefügg Budapest történetével, az igazgatás, a hivatali funkciók változásaival.

A török alóli felszabadulást - 1686-ot . megelőző évszázadok városi életéről, igazgatásáról főként közvetett forrásokból rendelkezünk ismeretekkel, mert a városok régi iratai a felszabadító harcok során szinte teljesen megsemmisültek. Csupán néhány tucat oklevél, s egyéb városi irat maradt fenn ezekből az évszázadokból. A levéltár birtokában lévő legrégibb dokumentum egy 1300-ból származó oklevél.

A török alóli felszabadulást követő években Buda és Pest a kincstár közvetlen irányítása alatt állott. A királyi kamarának engedelmeskedő városi tanácsok a tevékenységük során keletkezett iratokat, valamint a polgárok egyes jogbiztosító iratait többnyire a városi kancellária vezetője, az írásbeli munkák viteléért felelős jegyző, vagy valamelyik főtisztviselő lakásán tárolták - városháza sem lévén még ekkoriban - e célra készített ládákban és szekrényekben. Az iratok őrzése és rendben tartása a városi kancellária alkalmazottaira hárult.

1703-ban a városok visszanyerték szabad királyi városi jogukat, azonban az állapotokra jellemző, hogy az archívum feladatait is ellátó kancelláriák ezt követően hosszú ideig még önálló helyiséggel sem rendelkeztek.

A városigazgatás megnövekedett feladatai, az igazságszolgáltatási, jogbiztosítási, városi vagyonnal összefüggő egyre differenciáltabb tevékenység a század folyamán csakhamar nélkülözhetetlenné tette az időközben keletkezett iratanyag szakszerű nyilvántartását, a bizonságos őrzés feltételeinek megteremtését, s a mindezért felelős városi levéltárnoki állások megszervezését.

Így került sor ilyen városi tisztviselők kinevezésére a század második felében, elsőként Budán, Pscherer András személyében 1776-ban. A levéltárnok ettől fogva a város egyre növekvő tekintélyű egyik főtisztviselője, aki a beosztottakkal együtt ellátja mind a folyó nyilvántartási és irattári feladatokat, mind az azzal összefüggő archívum, a tulajdonképpeni városi levéltár anyagának őrzésével, nyilvántartásával és rendezésével kapcsolatos munkákat.

II. József uralkodásának időszakában egységes elveken nyugvó, újfajta iratkezelési és nyilvántartási rendszer kialakítására tettek kísérletet, ekkor rendezték az iratanyagot, amely jelenleg is e rendszerben található. A levéltári rendszer további differenciálását jelentette 1813-ban a közigazgatási és bírósági levéltárak szétválasztása. Az 1850-60-as években a modern ügyiratiság elvein alapuló iratkezelési rendszert vezettek be.

A három város egyesítésekor kialakított levéltári ügyviteli rendszer az azt megelőző időszakban lefektetett elveken nyugodott. A levéltári feladatokat most már külön szerv végzi, melynek fő tevékenysége azonban változatlanul a napi irattári jellegű munka volt. A tudományos jellegű levéltári feladatok első ízben az 1880-as években kerültek előtérbe, amikor a fővárosi közgyűlés elvi határozatot hozott arról, hogy a levéltár működésének középpontjába az ott található források felkutatását és hozzáférhetővé tételét kell állítani. Némi előrelépésre az ügyben azonban csak 1901-ben nyílott lehetőség, amikor a levéltárat szakhivatallá nyilvánították, mentesítették a folyó irattári feladatok végzése alól, csupán a 15 évnél régebbi iratok őrzésére és kezelésére korlátozva feladatkörét. A tárgyi feltételek időlegesen javultak a századfordulón, ugyanis a korábban sanyarú viszonyok között, szétszórtan elhelyezett raktári egységeket a Központi Városháza épületében helyezték el. A létszámgondok azonban egészen a legutóbbi időkig fennállottak, s noha a főlevéltáros a két háború közötti években is az egyik legtekintélyezsebb fővárosi főtisztviselőnek számított, a csekély létszám a későbbiekben is korlátok közé szorította az intézményen belüli tudományos tevékenységet.

A második világháború pusztításai a levéltár állományát sem kímélték, s hogy a veszteségek annak csupán mintegy negyedrészére terjedtek ki, az annak a légoltalmi rendelkezésnek köszönhető, mely az állomány java részét a főváros legnagyobb templomának, a Szent István Bazilikának a hatalmas altemplomába költöztette. A Budapest ostromát átvészelt anyag legnagyobb része még hosszú évtizedig szunnyadt a nyirkos pincehelyiségekben, ahol számos gombafaj is megtelepedett, s ahonnan végül is csak 1991-ben sikerült maradéktalanul kimenekíteni minden iratot.

A kommunista hatalomátvételt követő közigazgatási reformok nyomán 1950-ben a levéltári szervezeti feltételei is megváltoztak. A levéltár állami kezelésbe került, hivatali önállósága megszűnt, irányítását állami szakigazgatási szerv látta el. Gyűjtőköre mértéktelenül kitágult. Míg korábban - a fővárosi önkormányzat szakhivatalaként - csupán a városi hatóság közigazgatási anyagainak az átvétele volt számára előírva, ettől fogva azonban már, mint területi levéltárnak, mindenfajta tanácsi, állami, szövetkezeti és egyéb magánjellegű iratanyagot is gyűjtenie kellett.

A közvetlen állami irányítás 1968-ban szűnt meg, ekkor került a levéltár a fővárosi tanács - ismét tehát a helyhatóság - kezelésébe.

Az ezt követő több mint két évtized nagyarányú fejlődést eredményezett - főként a létszámgyarapodás, a technikai felszereltség, a levéltár kiadványtevékenysége, a helyi várostörténeti és közművelődési feladatok megszaporodása tekintetében, - bizonyos mértékben azonban a belső szakmai munka rovására.

Nagy kihívást jelentett ezért ezekben az években az a kettős feladat, mely mind a levéltárban levő értékes források feltárására, a használhatóság javítására irányuló szakmai követelmények, mind pedig az új demokratikus berendezkedésből fakadó közigazgatási jellegű feladatoknak együttesen igyekszik eleget tenni.