Den 7. maj 1829 indstiftede daværende kronprinsesse, senere dronning af Danmark, Caroline Amalie (1796-1881 - i 1815 viet til prins Christian Frederik, senere Christian VIII (1786-1848)) et asyl for børn i aldersgruppen 2-7 år.
I sin spæde start havde asylet til huse i den tysk-reformerte kirkes præstebolig i Gothersgade, men fik senerehen lokaler forskellige steder i Københavns indre by (bl.a. i Store Kongensgade), for endelig, i 1866, at flytte til den nyopførte asylbygning, Rigensgade 36/ Suensonsgade 65, tæt ved Rosenborg Have.
I 1841 oprettedes i tilknytning til asylet en asylskole, der blev drevet efter moderne, grundtvigianske principper og for hvilken N. F. S. Grundtvig selv var direktør i de første år. Asylskolen fortsatte sin virksomhed indtil 1937, hvor den af økonomiske årsager måtte nedlægges.
Ifølge asylets fundats skulle dette ledes af en komité (Asylkomiteen), bestående af 6 medlemmer, hvoraf 5 skulle være kvinder. Asylkomiteen var ansvarlig overfor Legatbestyrelsen (bestyrelsen for det ved dronning Caroline Amalies død testamentarisk oprettede ´Dronning Caroline Amalies Legat til Asylet og Asylskolen i Rigensgade´), der administrerede renterne af legatkapitalen, for hvilke asylet og skolen (og senere også fritidshjemmet) blev drevet. Endvidere var administrationen af de mindre legater, som senerehen tillagdes institutionerne, ligeledes lagt i hænderne på Legatbestyrelsen.
I 1953 oprettedes et fritidshjem med plads til 60 børn og i 1969 dels en heldags- og dels en halvdagsbørnehave, med plads til henholdsvis 50 og 2 x 25 børn, til erstatning for det egentlige asyl. Samtlige disse børneinstitutioner lededes af den tidligere asylkomité, indtil de i 1979 overgik til Københavns Kommune.
