Am Standort des heutigen Schlosses stand einst eine zweite, jüngere Feste, die wohl zur Mitte des 15. Jahrhunderts entstand, als die alte Feste verfallen war, die einst südöstlich von Kácov am linken Ufer der Sázavy bei Soušice stand. Angesichts des Umstandes, dass ab der Wende vom 14. zum 15. Jh. Kácov unter gleich ein paar Besitzern aufgeteilt war, ist nicht auszuschließen, dass beide Festen gewisse Zeit sogar nebeneinander existiert haben. Auf die Feste am Standort des Schlosses bezieht sich ein Vermerk aus dem Jahre 1473, als sie zu drei Vierteln Kuneš von Olbramovice gehörte. Der Erbauer erwählte sich die Stelle im südlichen Teil von Kácov am Rande eines felsigen und schroffen Abhangs zur Sázava. Dieser Abhang bildete ein natürliches Befestigungselement, dass an der Nordseite durch eine künstliche Befestigung ergänzt wurde, die allerdings dem Zahn der Zeit anheim fiel. Das ursprüngliche Aussehen der Feste lässt sich nach vielen Umbauten nicht mehr rekonstruieren.
Unter der Herrschaft von Jan Oktavián Kinský brach im Jahre 1627 in Kácov ein Bauernaufstand aus, wobei die die Aufrührer auch die Feste plünderten. Sie wurde erst nach 1630 von Bnigna Kateřina von Lobkovice erneuert und erweitert. So entstand ein nicht großes eingeschossiges Barockschloss, dessen Erdgeschoss gemauert und das Obergeschoss gezimmert war. Eine weitere Erweiterung erfuhr das Schloss, als es in Besitz von František Scheidler war. In den Jahren 1727 - 1733 ließ die toskanische Fürstin Anna Marie Františka das verfallene Schloss Kácov, dem vom vorherigen tief verschuldeten Besitzer keine Aufmerksamkeit geschenkt worden war, im Baustil eines barocken norditalienischen Adelssitzes umbauen. Dieser Umbau veränderte völlig das Areal der einstigen Feste, so wurden die letzten Reste der Burgmauern beseitigt und von dem alten Gebäude blieben nur ein paar Grundmauern bestehen. Das neue Schloss wurde auf unebenem Terrain erbaut, sodass seine zum Fluss Sázava weisende Südfront zweigeschossig, der nördliche Teil samt Hauptportal jedoch nur eingeschossig war. Das Schloss ruhte auf einem rechteckigen Grundriss, wobei die kürzere westliche und östliche Flanke mit turmartigen Vorsprüngen verziert war. Diese Vorsprünge ragten in gleiche Höhe wie das Hauptgebäude und wurden deshalb mittels Zwiebelkuppeln optisch hervorgehoben. Im Schlossinnern bildete ein beide Etagen durchlaufender Gang die Achse des Schlossgebäudes, der in seinem höchsten Punkt das Schlossdach in Form eines rechteckigen Halbgeschosses überragte und so die für das Schloss typische Silhouette schuf. Vom Gang aus gelangte man in die meisten der Räume. Die Interieure waren vor allem mit Stuckaturen verziert, die reichste Verzierung wies die Schlosskapelle auf. Die Stirnfront trug Wandmalereien, mit verschiedenen Gestalten in den Scheinfenstern. Eine einfache Wand mit Barocktor trennte das Schloss vom Marktplatz. In diesem Aussehen blieb das Schloss im Prinzip bis zum heutigen Tag erhalten.