Kavalerboligernes historie er tæt knyttet til Hørsholm Slots histore. 

Stedets historie kan føres helt tilbage til år 1305.  Om den tidlige historie kan henvises til H. C. Rosted bog Fra Adelsborg til Kongeslot.  

Slottet blev anlagt på en ø omgivet af moset grund og vand på alle sider.

1391 erhvervedes Hørsholm Slot af dronning Margrethe I og forblev derefter i kongehusets regi til slutningen af 1700 tallet.  

Frederik II og Christian IV opførte o. 1600 et mindre jagtslot i Hørsholm.

Det hvide hus 1679

Om det spændende slotsbyggeri kan læses herom i Hirscholm Slot 1730-1746 Et kongeslot og dets skæbne af H. C. Rosted. 

Haveanlæg, søens bredder og omgivende terræn gennemgik ligeledes flere forandringer for at skabe en værdig ramme om regentparret, der brugte stedet som sommerresidens.

Godset Hørsholm udgjorde fra 1731 til 1770 et særligt amt med egen amtmand og amtsforvalter. Slottet havde sin egen slotsforvalter.

Byggeriet af slotsanlægget blev hovedsageligt forestået af de kongelige bygmestre Johann Cornelius Krieger (1683-1755), Johann Conrad Ernst (1666-1750), Lauritz de Thurah (5. marts 1706 Århus - 5. september 1759 København) og Niels/Nikolaj/Nicolai Eigtved (1701-1754). Lauritz Thura må anses for at være den arkitekt, der mest har præget udformning af de barokke bygninger. Således arbejdede han fra 1733-44 på at frembringe det storslåede slotsanlæg.

 

 

Lauritz de Thura og Nicolai Eigtveds underskrift fra 1738

Deres underskrifter er gennemgående på mange af licitationsprotokollens resultater for Hirschholm slot.  

 

Med afsæt i en bygningskrop. som Ernst 1728 havde udformet, blev slottet ud- og ombygget i perioderne 1733-34, 1734-36, 1737-39 og 1743-44.

Slottet blev regnet for et af de smukkeste slotte i Europa og blev kaldt "Nordens Vesailles".

  

 

  Generalbygmester Lauritz de Thurah

(malet i  1754 af Johan Hörner. Portrætsamlingen på Frederiksborg slot.)

  

Christian VI døde i 1746 på Hørsholm Slot og dronning Sophie Magdalena døde 1770 på Christiansborg slot i København. Herefter boede Christian VII og dronning Caroline Mathilde sammen med Struensee på Hørsholm.

Hoffet forlod slottet i vinteren 1771. Herefter begyndte det store slot at forfalde på grund af manglende vedligeholdelse og muligvis funderingsfejl på den sumpede grund.

I 1810 fik Slotsbygningskommissionen - med C. F. Hansen som medlem - sat igennem at slottet skulle nedbrydes for at skaffe byggematerialer, især kobber, bly, svært tømmer, brædder, glaserede tagsten mm ,  til genopførelsen af Christiansborg Slot og til byggeriet af Råd- og Domhuset. Dette skete 1812.  

C. F. Hansens kirke i den tidligere slotsgård stod færdig 1823.