Den første undervisning for døve blev grundlagt i 1807 af Peter Atke Castberg i et lejet hus i Sølvgade. I 1817 blev det lovbestemt, at alle landets døve børn skulle modtage undervisning. Med tiden var huset i Sølvgade blevet for lille. En direktion overtog styringen af Instituttet, som flyttede til Stormgade. De nye lokaler blev også snart for trange, og den 2. september 1839 kunne Det Kongelige Døvstummeinstitut tage sin nye skolebygning på Kastelsvej (Citadelsvej) i brug. Skolen havde på det tidspunkt 88 elever. I 1980 blev den tidligere statslige særforsorgsinstitution overtaget af Københavns kommune. I 1986 blev skolens navn forkortet til Skolen på Kastelsvej, da skolen blev til specialskole og slået sammen med Døveskolen i Randersgade.
Skolen på Kastelsvej er en skole for døve og tunghøre børn, og for hørehæmmede børn med yderligere funktionsnedsættelser, som bor øst for Storebælt. Skolen er en amtskommunal folkeskole/specialskole og har de samme retningslinjer som den øvrige folkeskole.
Skolen på Kastelsvej blev lagt sammen med Langelinieskolen 1. august 2011
