Die Burg Roßla wurde 1341 dem Grafen zu Stolberg von dem Grafen von Hohnstein überlassen. Um 1420 wurde die Burg unter Graf Botho zu Stolberg umgebaut. Die Burganlage war von einem Wassergraben umgeben, der später zugeschüttet worden ist.

1766 wurde ein größerer Umbau des baufälligen Schlosses vorgenommen. 1826 erfolgte der Anbau des Ostflügels im klassizistischen Stil.

Das Schloss war bis 1945 Sitz der Fürsten zu Stolberg-Roßla. Es beherbergte zahlreiche Kunstschätze, eine Bibliothek mit ca. 30.000 Bänden und 10.000 Leichenpredigten.
Zum Schloss gehörte ein 6 Morgen großer Park mit seltenen Bäumen. Westlich des Schlosses steht das frühere fürstliche Verwaltungsgebäude (die Rentkammer) und am nördlichen Eingang zum Schlosspark die Trinitatiskirche.

Nach 1945 wurde das Schloss als Kulturhaus genutzt.