Pierwotnie gotycki zamek zakupił w roku 1356 cesarz Karol IV, który dawał go z zastaw różnym najemcom szlacheckiego i rycerskiego pochodzenia. Obszar dziś zajmowany przez kompleks zamkowy jest wynikiem późnogotyckiej odbudowy z połowy XV wieku. Kolejna przebudowa – tym razem na jeszcze wygodniejszy i wystawniejszy zamek z arkadowym dziedzińcem – miała miejsce w XVI wieku.  Znaczenie zamku Žleby wyraźnie podniósł król Jerzy z Podiebradów, za panowania którego stały się one jednym z bastionów władzy. Do majątku starego tyrolskiego rodu Auerspergów zamek trafił w roku 1754 i był ich własnością aż do XX wieku.