Původní hrad byl založen kolem roku 1300. Jeho podobu zřejmě ovlivnil Jan Očko z Vlašimi, druhý pražský arcibiskup, i Očkův synovec arcibiskup Jan z Jenštejna, kteří tu pobývali. Husitské války přečkal hrad bez většího poškození. Zlom přišel s koncem 16. století, kdy se dožívající hrad dočkal radikální přestavby na honosný manýristický zámek, a to až do konfiskace roku 1621. Dochované barokní úpravy vznikly především kolem poloviny 18. století, kdy přibyl např. „malovaný sál“ a roku 1771 kaple sv. Vincence ve věži. Po roce 1775 se změnila obora u zámku na sentimentální park. Konečnou podobu dal zámku v polovině 19. století Karel Vilém (Carlos) Auersperg. V roce 1846 upravil vstup do nádvoří a zřídil Vlašimskou bránu.