Historie zámku Častolovice sahá do 13. století, kdy zde stála vodní tvrz. Později patřily Častolovice několika různým majitelům. Nejznámnější z nich byl Jiří z Poděbrad, jehož první ženou byla Kunhuta ze Sternberga. V roce 1495 koupil Častolovice Vilém z Pernštejna, jeden z nejmocněčnějších pánů tehdejší stavovské monarchie. Poté v roce 1577 přešly Častolovice do vlastnictví Rudolfa II., který je o sedm let později prodal pánům z Oppersdofu.
V letech 1588 – 1615 Jan Bedřich z Oppersdorfu a jeho žena Magdaléna z Donína nechali přestavit vodní tvrz na renesanční zámek. Roku 1694 koupil Častolovice nejvyšší purkrabí království Adolf Vratislav ze Sternberga.
V druhé polovině 19. století byla část zámku přestavěna v novogotickém slohu a byl založen anglický park. Na začátku 20. století byly novogotické prvky ze zámku víceméně odstraněny, aby tak opět vynikla jeho původní renesanční podoba. Nad vchodem byla vystavěna mohutná věž a do ní byla umístěna vodní nádrž, která zásobovala vodou celý zámek včetně kašny na nádvoří. Východní křídlo zámku bylo zvýšeno o jedno poschodí, aby byl zámek schopen ubytovat všechny členy rodiny.
V roce 1940 přešel zámek pod německou nucenou správu, která v roce 1942 donutila rodinu Sternbergových sídlo opustit. Po II. Světové válce bylo častolovické panství navráceno Leopoldovi Sternbergovi, ale pouze do roku 1948, kdy bylo panství zkonfiskováno státem.
V roce 1992 byl zámek v restituci navrácen současné majitelce Dianě Phipps Sternbergové.
Ta na zámku žije a stále pracuje na jeho správě a zvelebování.
Renesanční podoba zámku v roce 1696