W XI w. za czasów Bolesława Chrobrego na wzgórzu wznosiła się twierdza obronna. Obecnie w tym samym miejscu znajduje się neogotycki pałac. Pracę nad budową zlecił właściciel majątku Stefan Narzymski, porucznik ułanów z Powstania Listopadowego. Prace trwały w latach 1854 – 1859.Właściciele pałacu Stefan i Otylia Narzymscy niedługo cieszyli się wspaniałą rezydencją. W 1967 r. zmarła Otylia, a w rok później Stefan. Spadek otrzymała ich córka Marianna, która poślubiła księcia Feliksa Ogińskiego. Marianna zmarła w 1914 r., a spadek odziedziczył Zygmunty Narzymski – najbliższy krewny w linii ojca.I wojna światowa i najazdy bolszewików w 1920 r. nadszarpnęły kondycją pałacu, a wojska pruskie doprowadziły do jego ruiny, obrabowując skarbiec, niszcząc zabudowania i nie oszczędzając nawet szczątków zmarłych właścicieli.Ostatnią właścicielką Jabłonowa była Helena, żona Tadeusza, syna Zygmunta. Helena w 1931 r. sprzedała posiadłość Państwowemu Bankowi Rolnemu w Warszawie. W 1933 r pałac zakupiło Zgromadzenie Sióstr Pasterek od Opatrzności Bożej i rozpoczęły remont.W 1939 r. Pasterki zostały wysiedlone przez Niemców, obiekt zajęło wojsko niemieckie. W 1945 r. pałac został uszkodzony przez bomby lotnicze. Jednak już w lutym 1945 r. Pasterki powróciły i szybko zajęły się odbudową pałacu.Obecnie pałac w Jabłonowie jest nadal siedzibą Domu Generalnego Zgromadzenia Sióstr Pasterek od Opatrzności Bożej. Województwo kujawsko-pomorskie.