Vilém z Perštejna připojil Sloupno roku 1516 k chlumeckému panství a tento stav zůstal až do roku 1549, kdy bratři Jaroslav, Vratislav a Vojtěch z Pernštejna vesnici pr
odali Janu Kluckému z Libodržic (zemřel 1553). Za Kluckých z Libodržic vznikla ve Sloupně nová renesanční tvrz, přímá předchůdkyně dnešního zámku. V letech 1553 až 1603 držel ji syn Jana Kluckého Purkart a po něm jeho syn Václav Klucký. Ten prodal Sloupno roku 1610 Jindřichu Maternovi z Květnice a na Přítoce. Za jeho syna Jana Jiřího snad pobýval na tvrzi před odchodem do exilu Jan Ámos Komenský. V roce 1628 prodal Jan Jiří Materna Sloupno s dílem Starého Bydžova Albrechtu Václavovi z Valdštejna, který tvrz propůjčil Anně Marii roz. Libštejnské, manželce Zdeňka z Valdštejna. Po Valdštejnově smrti (1634) ji vlastnila císařská komora a po ní v letech 1637 až 1669 Desfoursové: nejprve M ikuláš Desfours a kolem roku 1654 Barbora Markéta Desfoursová. V letech 1669 až 1672 Sloupno vlastnil Adolf Vilém Harant z Polžic, v dubnu 1672 je za 24 tisíc rýnských zlatých koupil břevnovský benediktinský klášter. Opat Tomáš Sartorius dal roku 1687 renesanční tvrz přestavět v barokní zámek, letní sídlo benediktinů, sloužící i správě sloupenského statku. Kolem roku 1730 zdejší zámek často navštěvoval proslulý architekt Kilián Ignác Dientzenhofer. Podle jeho návrhu byl za opata Benna I. Löbla roku 1748 zámek přestavěn. Z břevnovsko-broumovských opatů zde např. v roce 1776 za povstání na Broumovsku pobýval Štěpán Rautenstrauch.
Zámek byl v držení Benediktýnů až do konfiskace v roce 1948 a od té doby začal nezadržitelně chátrat. Po konfiskaci se mobiliář částečně odvezl většinou neznámo kam a z části byl rozkraden nebo zničen. Po konfiskaci a vyklizení sloužila budova zámku jak sklad obilovin a okopanin pro Státní statek Nový Bydžov – Humburky národní podnik, hospodářství Sloupno, které z větší části obhospodařovalo i polnosti velkostatku. Než byla provedena nová fasáda, bylo vidět ze západní strany těsně pod oknem nad vraty neodborně zazděnou díru po trubce zrnometu, který foukal obilí do prvního patra. Poté budovu zámku využívala jako sklady Rafinerie cukru Skřivany. Budova zámku nebyla opravována a rychle chátrala, střechou zatékalo, okapy nebyly a barokní žlutá fasáda pomalu, ale jistě opadávala. V sedmdesátých letech minulého století je majitelem a uživatelem Okresní ústav národního zdraví v Hradci Králové a využil ho jako skladiště polní nemocnice a dalšího materiálu pro krizové stavy. Za působení OÚNZ Hradec Králové dochází k přeložce střechy a výměně oplechování i okapů, ale věžička, která byla v havarijním stavu a hrozila zřízením je uvázána na lano a stržena dolů na východní stranu. Místo věžičky byl doplněn krov a krytina, tak že na první pohled vypadala střecha jako by tam nikdy věžička nebyla. Ve vnitřní části zámku je nevzhledně na povrchu provedena elektroinstalace při které byly poničeny omítky a malby, zřízeno elektrické akumulační topení, které zámek alespoň temperuje. Vnitřní prostory vybíleny, tak že došlo ke zničení původních maleb. Z vnější západní strany zámku je bezcitně vystavěn nákladní výtah pro snazší dopravu zdravotnického materiálu do patra. V přízemí zámku byl byt z kterého byla nájemnice za působení OÚNZ Hradec Králové vystěhována a byt zrušen. Zámecké sklepy sloužily ve druhé polovině dvacátého století jako sklad zeleniny a brambor podniku Zelenina Hradec Králové.