Reeds begin 12e eeuw werd er melding gemaakt van de Ridderhofstad Broeckhuysen. Rijke zakenlui uit Amsterdam ontdekten de rustige en inspirerende schoonheid van de Utrechtse Heuvelrug, relatief dichtbij de stad, en bouwden er hun buitenhuizen.
Het kasteel in zijn huidige vorm dateert uit 1810 en beslaat een oppervlakte van 6 hectare. In 1906 werd het kasteel door brand totaal verwoest en in de jaren die volgden in de originele, oude stijl herbouwd. Aanvankelijk had het gebouw rechte vormen, later werden de erkers en het monumentale peristilium met vier Ionische zuilen gevormd . De voorgevel draagt het wapen (in zilver een rood en goud geschakeerd kruis) van de Utrechtse familie Van Broeckhuysen.
Door de jaren heen hebben er verschillende families gewoond en heeft het gebouw diverse functies gehad. In 1773 kwam het landgoed in het bezit van de rijke Amsterdamse koopman Mr. Cornelis Jan van Nellesteyn, In 1818 heeft Nellesteyn op de naburige heuvel de Donderberg een graftombe laten bouwen. De Tombe van Nellesteyn kunt u vanaf het hoofdgebouw zien liggen en is op afspraak te bezichtigen.
Van 1971 tot 1996 hield het Nationaal Instituut voor Natuurbeheer kantoor in het hoofdgebouw. Parc Broekhuizen onderging vanaf 2011 een grootscheepse restauratie en werd eind 2016 in gebruik genomen als boutique hotel en restaurant.
