Ubicada extramuros en el barrio de Vera-Elena fue fundada por el primer obispo de la ciudad, Don Bricio en el año 1211, como Ermita de la Cruz. En principio su advocación fue dedicada a la Cruz, razón por la que antes se le conocía con el nombre de Ermita de La Cruz, y por la que su titular lo constituyera un enorme crucifijo de dimensiones casi naturales. A lo largo de su historia fue reedificada varias veces.

En una piedra que se encuentra en una de sus paredes se puede leer el siguiente texto: “Esta ermita hicieron de limosnas Antonio Ramos y Lucas de Carvajal y Francisco de Arteaga. Año de 1.623”. Otra inscripción que se conserva, dice así: “Reedificó a sus expensas esta ermita de Santa Elena, D. Blas Ximenez, Canónigo de la iglesia catedral. Año de 1.715”.

En su interior se enterró a Doña Beatriz de Trejo y Almaraz, la cual fue junto con su marido la fundadora del Hospital de la Cruz, (el cual estaba frente a la Puerta del Sol), y como al fallecimiento de esta señora no se había terminado, la iglesia de dicho Hospital de la Cruz, se la enterró provisionalmente en esta ermita, y pasó el tiempo y se olvidó su traslado, y hoy no queda nada de su sepultura.

Hace muchos años la ermita se fue deteriorando hasta el extremo que se temió que se hundiera y pudiera afectar a las imágenes que había en ella. Como no se podía reparar por falta de dinero, se pensó en sacar las imágenes y llevarlas a otras iglesias.