La imatge data de temps remots. Va ser la primera imatge, després de la de la patrona, que els senyors Marquesos de Rafal van aportar a la parròquia.
Des de sempre es va veure involucrada a la Setmana Santa de Rafal amb la celebració d’un Septenari, corresponent a cadascun dels set punyals que desgajan el seu cor, i el càntic dels Dolors de la Verge, meditació espiritual, avantsala de la desfilada processional en el qual les dones del poble, cobertes de negres mantells, l’acompanyen en el seu dolor.
En ser l’única imatge religiosa que no va quedar destruïda en la localitat, va tenir l’honor de reemplaçar a la imatge de la “Verge del Rosari” en la processó de “La Graná”.
Durant els anys 50, la confraria de “Ntra. Sra. dels Dolors” formava part com a element indispensable de dues processons. Una tenia lloc la vesprada de Domingo de Ramos, i al costat de la jove confraria de Sant Joan, configurava la bonica processó anomenada de “les mantillas”. I l’altra és la de Dijous Sant que processionava al costat de la imatge de “Ntre. Pare Jesús el Nazareno” després de produir-se la “trobada”.
En 1947 es va formar la confraria de la “Verge dels Dolors” que tanca la processó de el “Sant Enterrament” en la nit de Dissabte Sant. Aquesta imatge va acompanyada pels seus confrares abillades amb la clàssica mantilla espanyola.
Avui dia, el seu rostre dirigeix una mirada a tota aquella persona que acudeix al Septenari a compartir amb ella el dolor de la Passió, al mateix temps que l’esperança de la Resurrecció. “La Verge dels Dolors” acudeix la nit de Dissabte Sant donant fi a el “Sant Enterrament”, igual que protagonitza la processó en la qual la imatge avança, sota pal·li, darrere del seu Fill.
