Zámek, původně ovšem gotický hrad, se tyčí na skalnatém ostrohu nad Hutním rybníkem ve stejnojmenném městečku, známém jako město perleti, ležícím při říčce Žirovnici asi 11 km jihovýchodně od Kamenice nad Lipou.

Gotický hrádek byl založen ve druhé polovině 13. století na půdorysu trojúhelníka s okrouhlou věží na jižní straně a s kaplí. Koncem 15. století byl rozšířen a opevněn. V 16. a 17. století dostal hrad po renesančních přestavbách již zámecký ráz. V roce 1910 zámek i s panstvím odkoupilo město a byl využíván zejména jako muzeum. V polovině šedesátých let 20. století zámek vyhořel, byl však kompletně restaurován a expozice byly obnoveny.

Zámek je přístupný veřejnosti, v jeho prostorách je umístěno také městské muzeum s expozicí věnovanou perleťářství. V hradní kapli se dochovaly fresky z konce 15. století a v sále malby ze století šestnáctého.

Ve městě nad náměstím stojí původně gotický kostel svatého Filipa a Jakuba, novogoticky přestavěný v 19. století a památkově chráněný mariánský sloup z roku 1777.