Najsłynniejszym okresem dla zamku była tak zwana epoka rudolfińska. Cesarz Rudolf II. Brandýs upodobał go sobie tak bardzo, że uczynił go swoją główną rezydencją poza Pragą i zapraszał tu znane osobistości z dziedziny sztuki i nauki. Jego zaproszenie przyjął na przykład słynny astronom Tycho Brahe. Kilka stylów architektonicznych odcisnęło piętno na wyglądzie budowli -  od gotyku, przez renesans, aż po barok. Słynny barokowy architekt František Maxmilián Kaňka zaprezentował tutaj swój wyjątkowy talent. Habsburgowie zlecali dalsze poprawki - tym razem w duchu romantycznego neogotyku. Ostatnim właścicielem  był cesarz Karol I Habsburg, który zaprosił tu swoją małżonkę Zitę Bourbon-Parma. Para wspominała dni spędzone w lokalnej posiadłości, jako najszczęśliwsze w swoim życiu.