A devoção à Nossa Senhora da Abadia é muito antiga. Pertenceu a uma abadia – mosteiro cujo superior é um abade -, conhecida como Mosteiro das Montanhas, que ficava na região do Bouro, por volta do ano 883. Quando os muçulmanos invadiram Espanha e Portugal, os monges fugiram e esconderam a imagem da Santa. Mais tarde, por volta do ano 1100, dois homens viram uma luz diferente que vinha do meio de um vale perto de onde estavam os dois, então, resolveram ir até o local quando se fez dia, para ver o que poderia estar fazendo brilhar aquela luz. Foi quando se depararam com a imagem de Nossa Senhora da Abadia, escondida no meio das pedras. Por causa da redescoberta, os dois eremitas mudaram o casebre em que viviam para o local onde encontraram a Santa. Lá, ergueram uma pequena e rústica capela e colocaram a imagem de Nossa Senhora da Abadia.
