Pierwszy zamek w Radzyniu powstał w latach 1566-1567 i składał się z budynku otoczonego murem z czterema basztami w narożach. W 1685 r. Stanisław Antoni Szczuka polecił wybudować rezydencję pałacową, która przetrwała do dziś.Dobra radzyńskie wraz z zamkiem przeszły w drodze dziedziczenia wnuczce Szczuki Marii Kątskiej, która w 1741 r poślubiła Eustachego Potockiego.W 1749 r. rozpoczęto przebudowę pałacu, a ukończono w 1759 r. Całe założenie pałacowo-parkowe ma kształt wydłużonego prostokąta z osią przebiegającą przez groblę, most wjazdowy, główną aleję parkową i kanały. Położona we wschodniej części ogrodu oranżeria została wybudowana ok 1756 r.. Obiekt uchodzi za perłę rokoka w Polsce.Po śmierci Eustachego Potockiego pałac odziedziczył Jan Potocki, jednak rezydencja wkrótce podupadła. Nabyła ją Anna z Zamoyskich Sapieżyna. W 1834 r. pałac przeszedł na własność Antoniego Szlubowskiego.Jego potomek, Bronisław Szlubowski, nie mogąc utrzymać tak wielkiej rezydencji, oddał ją w 1920 r. na rzecz Skarbu Państwa.Obecnie w pałacu mieści się Państwowa Szkoła Muzyczna I stopnia oraz izba pamięci Karola Lipińskiego (urodzonego w radzyńskim pałacu). W oranżerii siedzibę ma Radzyński Ośrodek Kultury. W piwnicach od 1996 r. działa Galeria „Oranżeria”, w której organizuje się wystawy. Województwo lubelskie.