Die Glaubens- und Klosterstürme um die Wende des 18. und 19. Jahrhunderts haben auch die Institution der Einsiedler, die zeitweise um die 150 Klausen umfasste, hinweggefegt. Die Eremitenkongregation wurde aufgehoben, ihre Mitglieder mussten ihre Klausen verlassen und den Habit ablegen. Ab 1839 wurde in Bayern das Tragen der Eremitenkleidung wieder genehmigt, auch an der Bergkirche entstand damals eine Klause mit Kapelle.