W latach 1543 – 1633 Baginiec należał do rodu von Rahnau, który na wyspie wzniósł wieżę rycerską.W latach 1633 – 1754 zamek przechodzi na własność rodziny von Luck, a od nich przejmuje rodzina von Zedlitz, która przebudowuje zameczek na barokowy pałac. Na początku XX w. pałac został przebudowany w stylu renesansowym.Po II wojnie światowej w pobliskim folwarku ulokował się PGR, a pałac niszczał aż do roku 1997. Budynek stojący na wyspie jest niedostępny do zwiedzania ale bez przeszkód można spacerować wokół stawu.Ponoć obecnym właścicielem zamku jest Florian Lauda, brat słynnego kierowcy rajdowego formuły 1 Niki Laudy. Województwo dolnośląskie.