První písemná zmínka o zámku je z roku 1465, ale gotická tvrz zde stála již od 14. století. Na počátku její historie stály nepříliš známé šlechtické rody. V roce 1530 se majiteli tvrze stali rytíři Kábové z Rybňan. Jan Kába z Rybňan nechal starou gotickou tvrz přestavět na pohodlnější renesanční zámeček, zvaný v té době Nová Lhota.
Na konci 16. století získali zámek Růtové z Dírné. Po Bílé Hoře jim byl ale, pro jejich politické názory, majetek zkonfiskován, i když se českého stavovského povstání přímo nezúčastnili.
V dobách třicetileté války vlastnil panství italský rytmistr Antonio Bruccio. Po jeho smrti koupil zámek v roce 1641 Vilém Slavata z Chlumu a Košumberka. Rod Slavatů měl v jižních Čechách již tehdy rozsáhlý majetek. Po roce 1641 a v letech 1658–1678 probíhaly na zámku barokní přestavby, které proměnily šlechtické sídlo na letohrádek, kam Slavatové dojížděli z nedalekého Jindřichova Hradce.
Pojmenování Červená Lhota se objevuje až od počátku 17. století. Toto jméno dostal podle barev jeho omítky a tradice je dodržována dodnes. K barvě zámku se váže, jako k většině historických staveb s dlouhou minulostí, pověst.
Po vymření slavatovského rodu po meči zdědila Červenou Lhotu po roce 1693 sestra posledního Slavaty, Marie Terezie, se kterou panství vyženil Arnošt Bedřich z Windischgrätzu. Roku 1755 panství koupil František de Paula svobodný pán z Gudenus, po kterém roku1764 dědil synovec Josef. Za něj roku 1774 vyhořel v předzámčí pivovar a dvůr a zčásti byl patrně poškozen i zámek.
Roku 1796 došlo k další změně državy – zámek kupuje slezský šlechtic Ignác Stillfried, poté přešlo na jeho dědice a posléze došlo k dalšímu prodeji.
Po četném střídání rodů získává Červenou Lhotu roku 1835 Jindřich Eduard Schönburg – Hartenstein. Tento německý rod má zámek v držení až do roku 1945, kdy byl zkonfiskován na základě Benešových dekretů.
Během jejich působení proběhla na zámku romantická přestavba v novogotickém slohu, došlo k úpravě interiérů a po roce 1900 k renesančním úpravám, které financoval nejmladší Hartenstein – Jan, který působil v té době jako velvyslanec ve Vatikánu a který se shlédl v tamních stavbách.
V roce 1946 byla v zámku umístněna dětská zotavovna a v květnu 1947 byla Červená Lhota přidělena Národní kulturní komisi, která v roce 1949 zámek zpřístupnila veřejnosti. Nyní je zámek Národní kulturní památkou pod správou Národního památkového ústavu.
K zámku patří také nádherný zámecký park se starými stromy a dalšími botanickými unikáty. Romantická procházka kolem rybníka nám odkrývá stále nové pohledy na stavbu, která se zrcadlí ve vodní hladině. Navštívit můžeme také zámeckou kapli.
Červená Lhota je velmi fotogenická a proto se stala kulisou k natočení mnoha pohádek a filmů. Zlatovlásku s Jorgou Kotrbovou a Petrem Štěpánkem v hlavních rolích zná snad každý. Točily se zde ale také pohádky O zatoulané princezně, O kráse a štěstí či Princezna na hrášku. Z českých filmů můžeme jmenovat třeba Svatby pana Voka s Milošem Kopeckým v hlavní roli.
