V místech dnešního kácovského zámku stávala druhá, mladší tvrz, která vznikla pravděpodobně v polovině 15. stol. poté, co zpustla starší tvrz, která se nacházela jihozápadně od Kácova na levém břehu Sázavy u Soušic. Vzhledem k tomu, že od přelomu 14. a 15. stol. byl Kácov rozdělen mezi několik majitelů, nelze vyloučit možnost, že po určitou dobu existovaly vedle sebe tvrze dvě. K tvrzi v místech zámku se vztahuje údaj z r. 1473, kdy ze tří čtvrtin náležela Kunešovi z Olbramovic. Stavebník si vybral místo v jižní části Kácova na okraji skalnatého svahu spadajícího strmě k Sázavě. Tento svah tvořil přirozené opevnění, které na severní straně bylo doplněno opevněním umělým, dnes již zcela zaniklým. Původní podobu tvrze nelze již po několika přestavbách až do konečné podoby zámku rekonstruovat.