Poďme ale k histórii tohto miesta – Kláštor Veľká Skalka vybudovali pravdepodobne v 12. storočí, už v roku 1224 je označovaný ako sídlo benediktínskeho opátstva.
Práve toto opátstvo založil biskup na pamiatku pustovníkov sv. Andreja-Svorada a Beňadika. Tí osídlili toto miesto a postupne ho budovali, pričom pomáhali ľuďom naokolo a učili ich rôznym remeslám a mravom.
Podľa povesti práve Beňadika zavraždili lúpežní zbojníci, ktorí si mysleli, že v jaskynnom systéme musí uchovávať poklad. Žiadny však nenašli a tak smrť pustovníka vyšla nazmar. Každopádne biskup nechal na počesť týchto svätých mužov vybudovať tento kláštor, ktorý sa stal duchovným centrom Považia.
Vpád turkov rozvoj kláštora pozastavil, následne prišli husitské povstania. V roku 1528 dobyl toto miesto generál Katzianer a benediktínov rozohnal. Kláštor začal striedať majiteľov a chradnúť. To, čo ostalo sa pokúsili zachrániť jezuiti, ktorí prišli v roku 1645 a vybudovali toto miesto odznova. Avšak zrušenie rehole jezuitov malo za následok koniec slávy Kláštoru Veľká Skalka. Začal pustnúť a rozpadať sa.
Podľa povesti je v jaskyni odtlačok ruky svätého Beňadika, pred ktorým sa pri úteku pred zlodejmi otvorila skala. Ten však zapochyboval, a tak sa skala zatvorila. Toto rozhodnutie ho stálo život.