Zieliński interesował się sztuką już wcześniej, ale dopiero w Kielcach stworzył i udostępnił zbiór o wielkiej wartości artystycznej. Jego kolekcja była ogromna, posiadała 400 płócien malarstwa europejskiego od XV do XIX wieku, w tym obrazy Caravaggia, Jordaensa, Dolabelli, braci Breuglów, Cranacha Starszego. Oprócz tego około 700 rysunków i ponad 3200 grafik (w tym Rembrandta), 1100 przedmiotów sztuki użytkowej, 120 rzeźb, 150 medali, 500 walorów numizmatycznych, 2 tysiące okazów mineralogicznych,liczne militaria i około 12 tysięcy książek. Bywalcami pałacu byli m.in.: Józef Szermentowski, Franciszek Kostrzewski, Wojciech Gerson, January Suchodolski. W 1858 roku T. Zieliński umarł bezpotomnie, jego kolekcja uległa rozproszeniu,a pałacyk wkrótce sprzedano.W latach 40. XX wieku budynek przebudowano. W 1970 roku odkryto i odsłonięto liczne malowidła ścienne i sufitowe. W pałacyku od 1985 roku ma swoją siedzibę samorządowa instytucja kultury Dom Środowisk Twórczych, a oficynę zajmuje Państwowa Służba Ochrony Zabytków.
Romantyczny pałacyk
