I 1700-tallet var der på Københavns rådhus en lille antikvitetssamling. Rådhusets brand i 1795 og senere tiders vanrøgt bevirkede, at mange af sagerne gik tabt eller blev afleveret andetsteds blandt andet på Rosenborg. Enkelte ting blev opbevaret i rådstuearkivet eller på rådhusets loft omkring 1900, ligesom der i forskellige af de kommunale institutioner fandtes adskillige ældre sager, der belyste de pågældende institutioners udvikling.
På rådhusets tegnestue var der anlagt en samling af prospekter af København (malerier, litografier og stik), som skulle bruges til rådhusets udsmykning. Der var knyttet en samling af københavnske fotografier til den kommunale bogsamling, som var oprettet i 1896.
Med dette materiale som grundlag blev Københavns rådhusmuseum oprettet i 1901. Samtidig fik et fællesudvalg til opgave at fremskaffe en samling af genstande og billeder, der kunne belyse byens historie gennem tiderne, men der manglede endnu museumslokaler.
I 1917 vedtog kommunalbestyrelsen en nyordning af museets forhold. Dets navn blev nu Københavns bymuseum, og efter at en plan om at overflytte samlingen til Nikolaj kirkebygning var opgivet, blev museet indrettet i rådhusets loftetage, hvor det åbnede den 3. juni 1925. I 1956 blev museet flyttet ud til Den kgl. Skydebanes tidligere bygning på Vesterbro, og den 15. september blev det indviet.
Museets opgave er, som bestemt ved dets oprettelse, at illustrere hovedstadens udvikling gennem tiderne, dens vekslende udseende og dens kommunale historie. På rigsantikvarens vegne fører museet det arkæologiske tilsyn med jordarbejder i Københavns Kommune.
Brønshøj museum blev organisatorisk en del af Københavns bymuseum 1. januar 2007.
I 2010 ændrede museet navn til Københavns Museum. Fra 2018 har museet til huse i Stormgade 18.
Regelgrundlag for Københavns Museum:
Borgerrepræsentationens forhandlinger:
1900-01, s. 992 f., 2027 f.
1901-02, s. 13, 323 f.
1916 -17, s. 2811 f., 2886
