Erstmals wurden im Jahre 1130 kirchliche Kultgebäude im heutigen Karlstein erwähnt. Nach dem Verschwinden des Gebäudes wurde ihr Patrozinium im 16. Jahrhundert in das zuvor dem heiligen Martin geweihte Nonner Kirchlein übertragen. Die ebenfalls verschwundene Burgkapelle der Burgruine Karlstein war dem heiligen Andreas geweiht. Dafür scheint der Einfluss Salzburgs und der Grafen von Peilstein maßgebend gewesen zu sein.

Die Spenden der Wallfahrer und die Wirtschaftskraft des Stiftes St. Zeno erlaubten 1687–1689 einen Neubau. Für den Bau wurden die Schwierigkeiten der Materialversorgung durch die Errichtung eines eigenen Aufzuges überwunden. Am 7. Juli 1689 war der Bau soweit vollendet, dass man in ihm Gottesdienste feiern konnte. 

Im Turm von St. Pankraz läuten drei Glocken in einem Stahlglockenstuhl. Zwei weitere Glocken sind vorhanden, die in der Kirche abgestellt sind. Die eine wurde 1689 von Andreas Gartner in Salzburg gegossen, bei der anderen handelt es sich um eine unbezeichnete Glocke, die wahrscheinlich aus dem 15. Jahrhundert sind.