W 1412 r. Michał Ligęza Czyżowski, materiały zgromadzone w Zawichoście i przeznaczone do wzniesienia tam kościoła, podobno przewiózł do Czyżowa i z nich wybudował sobie zamek. Oburzony taką bezczelnością Jagiełło ostro skarcił kasztelana, ale ten nigdy krzywdy nie naprawił. Zamek przetrwał do szwedzkiego „potopu” kiedy to został zniszczony.Na początku XVI w. w 1508 r. w Czyżowie pojawia się Hieronim Czyżowski i ród ten rządził ponad 200 lat. Ostatnim z rodu był kasztelan, Aleksander fundator znakomitych budowli Czyżowa – kościoła i pałacu. Z gotyckich ruin zamku zburzonego przez Szwedów zbudowano w latach 1740-50 wspaniały pałac.Położony jest na skarpi sztucznie usypanego wzgórza, a legenda mówi, że usypali go tatarscy jeńcy. Właściciele zamku bardzo często się zmieniali.Ostatni właściciel, Józef Targowski miał szczęście gościć w swoim wybitne osobistości takie jak; prezydenci Stanisław Wojciechowski i Ignacy Mościcki oraz Leon Wyczółkowski, Władysław Skoczylas, Władysław Reymont, który pisał tu część swojej trylogii „Rok 1794”.Po wojnie pałac oddano PGR-om, były w nim również magazyny oraz szkoła. Obecnie pałac jest w rękach prywatnych, a obecny właściciel przeznaczył rezydencję na cele hotelowo-gastronomiczne. Województwo świętokrzyskie.