La ermita de Nuestra Señora de las Cruces fue construida tras la aparición, el 12 de octubre de 1375, a Sebastián González; un pastor que guardaba su ganado en la Serrezuela. Al lado de una fuente se encontró la talla de la Virgen de las Cruces.
La Imagen debió de ser pequeña, como un cuarto de talla; lo suficiente como para impresionar al humilde muchacho. Sobrecogido y nervioso, llevó a casa la imagen de la Virgen.
A la mañana siguiente la Imagen había desaparecido de la casa y se encontraba de nuevo en la fuente. La noticia y el rumor rápidamente corrió por el pueblo, hasta el punto de que por orden del ayuntamiento, el pueblo entero se postró al pie de la sierra. Acudiendo todos a la fuente donde se apareció la Virgen.
Con gran veneración se alzó la imagen sagrada y se ordenó la Procesión una vez que fue colocada en las andas. Al llegar a Don Benito fue colocada en un altar preferente.
Nuevamente, a la mañana siguiente la imagen de la Virgen se encontraba de nuevo en la fuente. Por lo que se determinó la construcción de la Ermita en las inmediaciones de aquella fuente.
Según el clérigo Calderón Martín, la Ermita de Nuestra Señora de las Cruces existía ya en 1577.
Terminada la guerra contra los franceses, pasaron algunos años y no fue hasta 1817 cuando se plantearon los problemas de las cofradías y ermitas y hospitales; unas estaban destrozadas como la Virgen de la Piedad y Santiago; se formaron comisiones con el encargo de intentar su reconstrucción. Otras no destruidas, pero maltratadas; se nombraron también responsables para reparar los desperfectos y ponerlas en funcionamiento. A este último grupo perteneció la Ermita de las Cruces, que tras una buena limpieza y necesarias reparaciones en el 1817 se comenzó el 2° libro de la Cofradía (el primero había desaparecido).
Fue precisamente en estos años, cuando la comisión encargada de reconstruir la Ermita de la Piedad se declaró impotente para hacerlo y el pueblo fue poniendo cada vez más los ojos en la Virgen de las Cruces como su nueva Patrona. Al pueblo, esquilmado por los nuevos impuestos de los gobiernos de Madrid, no le daban respiro para reponerse de las calamidades pasadas. Y la Iglesia estaba acosada brutalmente en estos años por las leyes desamortizadoras. Estas circunstancias, sufridas muy vivamente en esta tierra entre los años 1820 al 1835, hundieron económica y moralmente el espíritu cristiano del pueblo; y, como providencialmente, se abría una luz de esperanza en lo que les quedaba: la Virgen de las Cruces. No fue un capricho, sino una necesidad imperante la que movió al pueblo a este cambio de patrona.
En el año 1885 el presbiterio, el camarín y la sacristía se hicieron nuevas; se levantó en proporción todo el cuerpo de la antigua Ermita a fin de que formara conjunto armónico. La Ermita se separó con una esbelta y firme reja, protegiendo el presbiterio, dándole la configuración que hoy tiene. Se hizo también un salón espacioso para las recepciones oficiales y necesarias para los días en que las autoridades honraban con su presencia los actos religiosos.
En el año 1945 se encarga la restauración completa de la Ermita y una nueva imagen sagrada de la Virgen. Además de nuevos vestidos y una nueva corona. Se legaliza debidamente escrituras de propiedad de la Ermita y se formulan los estatutos por los que se tenían que regir la cofradía y mayordomía de las Cruces, con la aprobación del obispado de Plasencia en el año 1952. Se levantó también un grande y hermoso salón para los servicios y atenciones de la Ermita; destruyendo el antiguo salón y se hizo también las andas grandes, talladas y doradas, de la Virgen, una verdadera obra de arte.
En 1976 se levanta una valla firme que protege la parte más interesante del recinto y ejido de la Ermita; una captación de agua dentro del mismo terreno, muy y por fin se hace llegar la luz eléctrica al santuario.
En 1980 se realiza la construcción de arcos laterales, servicios y fuente de piedra labrada, saneamiento interior y exterior de la Ermita ( completado con plataforma de piedra blanca de Cáceres en todo su rededor), reforma total del retablo, piso de mármol, techumbre nueva, camarín renovado en su interior, y fuera de la Ermita, plataforma de entrada, en combinación cintas de piedra blanca con tacos de piedra de Quintana, en el centro, brocal del pozo artístico y de una sola pieza, coronado con arco de hierro forjado a costumbre del lugar.