Początkowo tereny gdzie stoi obecny pałac należały do księcia Janusza Ostrogskiego, kasztelana krakowskiego, który zamierzał wybudować w tym miejscu zamek. Niestety książę umarł, a grunty przejęli książęta Zasławscy, a następnie Jan Krzysztof Gliński, podkanclerzy koronny.W 1681 r. Gliński zlecił budowę na potężnych murach oporowych, okazałą rezydencję, jednak ze względu na olbrzymie koszty budowę ograniczono tylko do pawilonu północnego wzniesionego na wysokim tarasie nad wąwozem ul. Tamka. W 1725 r. pałac stał się siedzibą jurydyki Ordynackiej Zamoyskich.Od 1831 r. pałac służył jako szpital wojskowy, a następnie pełnił funkcję Domu Zdrowia. Od 1859 r. obiekt był siedzibą Instytutu Muzycznego. Zniszczony w 1944 r. przez Niemców, odbudowany w latach 1949-54 jest obecnie siedzibą Towarzystwa Muzycznego im. Fryderyka Chopina. Z pałacem związana jest bardzo znana legenda o Złotej Kaczce. Woj. mazowieckie.
