En el espolón de poniente del Castillo de Calasanz, se alza una ermita singular, San Bartolomé, que conmemora el día del santo en la dura y larga reconquista del castillo por el rey aragonés Pedro I el 24 de agosto de 1102, y que fue consagrada solo un año más tarde por el obispo Poncio de Roda-Barbastro. Era muy apreciada por el rey por su simbolismo y en ella se solemnizaron y firmaron documentos muy importantes como la Carta Puebla de Ainsa.
La ermita es de modestas dimensiones, originalmente de una sola nave aunque posteriormente se le añadieron dos capillas laterales; el acceso desde el exterior, bajo un arco con arquivoltas muy desgastadas por el tiempo, se realiza por una escalera descendente, ya que su piso se encuentra más bajo; tiene una ventana aspillada en el ábside y un ventanuco a poniente que le otorgan una belleza y recogimiento singulares, propios del románico.
Actualmente, se realiza una romería el 24 de agosto, en honor al Santo que da nombre a la ermita.