Segle XII. Castell medieval construït sobre les restes de les termes romanes. Va ser enderrocat entre els segles XVIII i XIX. Actualment només en queda com a testimoni part de la muralla i de les torres.
Segles XII-XIV. La vila de Caldes tenia des del segle XIV una muralla que defensava la població. Se’n conserven diversos trams, localitzats a Cal Ferrer de la Plaça, a l’ermita de Sant Grau i al canal que segueix la font de la Mina. El parament dels murs és de carreus escairats disposats en filades i espitlleres intercalades. El castell tenia una muralla pròpia d’origen més antic, de la qual es conserven tres torres defensives, una construïda sobre les restes de les termes romanes.