Foreningen hed oprindelig Rufinus men ændrede omkring 1906 navn til Københavns Politiforening.
Initiativet til foreningen blev taget 26. februar 1898, og den stiftende generalforsamling blev afholdt 24. marts 1898. På stiftelsestidspunktet eksisterede en sangforening under navnet Rufinus, hvor også betjente fra Københavns politi deltog, men da den var ved at gå i opløsning, og man syntes, det var et godt navn, overtog man navnet til den nye forening.
Foreningen skulle foruden at drive selskabelighed varetage medlemmernes økonomiske og tjenstlige forhold samt uddele konfirmationshjælp til medlemmernes børn. Fra 1. marts 1902 udgav foreningen medlemsbladet Politivennen. Bladet blev senere udgivet i samarbejde med Dansk Politiforening.
Foreningen blev 1. juli 1939 slået sammen med Foreningen af Over- og Inspektionsbetjente i Københavns Politi. Københavns Politiforening er i dag en fagforening organiseret under Politiforbundet.
