Historia powstania pałacu (zwanego często niesłusznie zamkiem) jest dość tajemnicza, a co za tym idzie, wiąże się z powstaniem wokół niego wielu legend. Przykładem jest opowieść o zastosowaniu w pałacu symboliki liczb nawiązującej do kalendarza: tyle okien, ile dni w roku, tyle pokoi, ile tygodni, tyle sal wielkich, ile miesięcy. Niestety nie zachowały się żadne ówczesne plany budowy, co uniemożliwia dziś faktyczne potwierdzenie tych faktów. Wyobraźnie rozpala także opowieść o skarbie ukrytym przed Szwedami w zasypanych lochach i ogromnym akwarium, którego szklane dno było sufitem sali balowej.