La légende raconte qu’un jeune pâtre fut attiré par le comportement d’un taureau qui grattait la terre avec insistance. Le jeune homme tenta sans succès d’éloigner l’animal. Il constata que le taureau venait de mettre à jour une statue représentant la Vierge Marie avec l’enfant Jésus dans ses bras. C’est à cet endroit qu’on édifia un oratoire.

Quelques siècles plus tard une autre légende raconte que la construction serait due à un prêtre, injustement emprisonné pour un crime qu’il n’aurait pas commis. Ce dernier fit vœu que soit construite une chapelle à l’emplacement de l’oratoire si son innocence était reconnue.