Heerlijkheid

Oorspronkelijk was Scherpenzeel een "Heerlijkheid", dat is een huis met landerijen waar 'heerlijke rechten' aan verbonden waren: de eigenaar, de 'heer', mocht er rechtspreken, jagen en de dominee benoemen.
Na de Franse Revolutie werden ook in Nederland de heerlijke rechten afgeschaft, en de familie Van Scherpenzeel bood in 1793 Huis Scherpenzeel met een tiental agrarische erven te koop aan.
De nieuwe eigenaar werd Johannes Sebastiaan van Naamen, rijk geworden met specerijenhandel in de VOC, handel in onroerend goed, en als Muntmeester in Utrecht.

Na 1793

Johannes Sebastiaan Van Naamen, die onroerend goed bezat in Woerden, Haarlem, Amsterdam, liet zich Heer van Scherpenzeel noemen en Ambachtsheer van de beide Eemnessen noemen. Hij kocht behalve Scherpenzeel namelijk ook grond bij Eemnes. 'De beide Eemnessen' liet hij na aan zijn zoon Sebastiaan Albert van Naamen, en Scherpenzeel aan Mr Petrus Johannes Van Naamen.
Diens kleindochter Benudina Van Naamen van Scherpenzeel trouwde in 1854 met Mr Herman Royaards, en zo is de naam Royaards met Scherpenzeel verbonden geraakt.

Huis Scherpenzeel

In 1854 werd Huis Scherpenzeel met omgeving door het echtpaar Royaards - Van Naamen veranderd in een buitenhuis: witgepleisterde gebouwen in een engels landschapspark. De familie Royaards woonde in Utrecht, aan het Janskerkhof was hun stadshuis.
In 1900 ging Anton Royaards, die toen een deel van de landerijen met Huis en park erfde, als eerste familielid permanent op het Huis wonen. Hij was ook burgemeester van Scherpenzeel.
Anton Royaards trouwde in 1910 met Jonkvrouwe Margaretha Backer en kreeg twee dochters, die op Scherpenzeel opgroeiden. Anton overleed in 1932.

Ten tijde van de Tweede Wereldoorlog werd het Huis niet door de familie bewoond. Scherpenzeel was meermalen het toneel van hevige gevechten (Grebbelinie). Huis Scherpenzeel werd door de Duitse bezetter geconfisceerd en voor vele doeleinden gebruikt.
Na de oorlog keerde de weduwe Royaards-Backer terug. Zij restaureerde het Huis en de bijgebouwen, en ze woonde er tot haar dood in 1956. Daarna werd het Huis door haar dochters lange tijd verhuurd, in afwachting van een nieuwe bestemming of nieuwe bewoners.
In die periode werden er opnieuw vele vernielingen aangericht.
In 1975 schonken de dochters Royaards het Huis, dat inmiddels aangewezen was als Rijksmonument, in 1975 aan de gemeente Scherpenzeel. Het werd gemeentehuis.
De landerijen bleven in het bezit van de familie.