Původně hrad z 12. - 13. století, v 16. století přestavěn na zámek.
Roku 1708 přicházejí do Pacova bosí karmelitáni, zámek přestavují na klášter.
Do dnešní podoby byl rozšířen kolem roku 1719. Na přestavbu kláštera 1739 dohlédl Kilián Ignác Dienzenhofer. Za Josefa II. byl klášter zrušen (1787) a budova znovu užívána jako zámek.

Původní stavba byl dvoupatrový uzavřený čtverec. Východní křídlo bylo zbořeno v roce 1884. V 60. letech 19. století sloužila tato část zámku jako škola a byt pro učitele. Tady se 26. 2. 1864 v učitelské rodině Jana Sovy narodil budoucí básník Antonín Sova. Zámek byl do května 1945 majetkem rodiny Weiss - Tessbachů, pak přešel pod státní správu a záhy sem přišla vojenská posádka. Vojáci odešli v roce 1992, ale teprve v roce 1997 byl převeden do majetku města. Po náročné a dlouhodobé rekonstrukci budou jižní a západní části objektu sloužit kulturním potřebám města.

DALŠÍ INFORMACE: http://www.mestopacov.cz