Il Cassero di Roccalbegna che sovrasta il borgo era un fortilizio minore, usato essenzialmente come punto di vedetta.
Probabilmente venne costruito agli inizi del XIII secolo dai conti Aldobrandeschi. All'inizio del XV secolo, a causa della perdita della sua importanza strategica, il Cassero, allora di proprietà dello Stato senese, fu lasciato in abbandono. Nel 1446 i Castellani Domenico d'Andrea e Gherardo di Mariano si proposero di restaurarlo a fini strettamente abitativi.
Nel 1555 lo Stato senese passò sotto il Granducato di Toscana e nel 1565 Roccalbegna venne concessa dal Granducato agli Sforza di S. Fiora. Restò feudo granducale fino al 1751. Con l'abolizione di tutti i feudi, Roccalbegna tornò a costituire comunità giurisdicente fino al 1838, quando fu affidata al vicario regio di Arcidosso.
In corrispondenza dell'attuale giardino, costituito da un ampio prato e alberi d'alto fusto, sorgeva un giardino all'italiana, dotato di un "piccolo casino", risalente al XVII secolo. Di questo giardino non sono rimaste tracce ma approfondite ricerche storiche ipotizzano che questo fosse molto simile al contemporaneo giardino connesso al complesso palatino di Santa Fiora.
The keep overlooking the town
of Roccalbegna was once a minor fortification, used essentially as a lookout point. It was probably built in the early 13th century by the Aldobrandeschi counts. When it lost its strategic importance in the early 15th century, the keep, at that time the property of the Sienese state, was abandoned and left to decay. In 1446, two chatelains, Domenico d'Andrea and Gherardo di Mariano, decided to renovate the complex for residential purposes only. In 1555 the Sienese state became part of the Grand-Duchy of Tuscany and in 1565 the Grand-Duchy awarded Roccalbegna
to the Sforza family of Santa Fiora. It remained a grand-ducal domain until 1751. With the abolition of all feudal estates, Roccalbegna once again became
a community under its own jurisdiction until 1838, when responsibility for its affairs was handed over to the authorities of the nearby town of Arcidosso. The site of the present garden, with its large
lawn and tall trees was once occupied
by an Italian-style garden, with a small 17th century lodge. Although no trace of this earlier garden remains, it is thought to have been similar to the garden connected to the palatine complex of Santa Fiora.
