El Castillo se alza en la cumbre de una gran roca que prácticamente lo hacía inexpugnable, su origen es probablemente musulmán y formaba parte –junto con el cercano de Momagastre y otros más– de la línea fronteriza del reino de Lérida.
Su costosa reconquista le dio un carácter simbólico que perduró en el tiempo; hoy pueden verse algunos restos como la cisterna y parte de una de sus torres defensivas conocida popularmente como la predicadera del moro; se accede del mismo modo que a la Ermita de San Bartolomé, desde el propio pueblo de Calasanz. Desde su situación pueden verse varios castillos, como el de Monzón o Kalavera, entre Esplús y Belver, a 30 kilómetros de distancia.