Gryspekové z Gryspachu byl český šlechtický rod pocházející z Tyrolska. Rod založil Florián Gryspek, sídlili v Nelahozevsi. Patřila jim panství Kaceřov, Nelahozeves a Rožmitál pod Třemšínem. Na svých panstvích masivně uplatňovali renesanční architekturu. Zámky Nelahozeves a Kaceřov proto patří k nejzajímavějším a nejcennějším renesančním stavbám v Čechách.
V roce 1376, kdy jsou doloženy první zmínky o Kaceřově, se jako jeho majitel uvádí Ctibor ze Švamberka. Ten si tu asi mezi léty 1370 – 1376 postavil tvrz.
Později Kaceřov získal plaský klášter. Na počátku husitských válek v roce 1420 získali Kaceřov spolu s dalšími vesnicemi a městečkem Kralovicemi od krále Zikmunda katoličtí páni bratři Hanuš a Bedřich z Kolovrat na Libštejně a Krašově.
Ke svému panství se také snažil Kaceřov přidat Florián Gryspek z Gryspachu, sekretář české komory. Ten dosáhl toho, že mu byl roku 1539 zastaven na čtyři generace, přičemž práva plaského kláštera byla formálně respektována.
Vzhledem k tomu, že tvrz v Kaceřově byla zpustlá a sešlá, rozhodl se Gryspek pro výstavbu nového zámku a stará tvrz pak sloužila k hospodářským účelům. Stavba zámku trvala téměř dvě desetiletí a prováděli ji zejména a převážně italští zedníci a kameníci. Začalo se s ní kolem roku 1540.