Siglo XII. Castillo medieval construido sobre los restos de las termas romanas. Fue derruido entre los siglos XVIII y XIX. Actualmente, de este solo queda como testigo parte de la muralla y de las torres.
Siglos XII-XIV. El pueblo de Caldes tenía desde el siglo XIV una muralla que defendía a la población. De esta se conservan varios tramos, localizados en Cal Ferrer de la Plaça, en la ermita de Sant Grau i en el canal que sigue a la fuente de la Mina. El paramento de los muros es de sillares escuadrados dispuestos en hiladas y aspilleras intercaladas. El castillo tenía una muralla propia de origen más antiguo, de la cual se conservan tres torres defensivas, una construida sobre los restos de las termas romanas.