Das Mühlfeld bei den alten Mühlen, die vom Ellbach und seinen Ableitungen betrieben wurden, erhielt im 16. Jahrhundert die Wallfahrtskapelle „Maria Hilf“. Da sich die Wallfahrt stetig erweiterte, musste die Kapelle 1736 schließlich zur heutigen Kirche erweitert werden.

In vielfältigen Anliegen wandten sich die Tölzer in der kleinen Kapelle "auf dem Mühlenfeld" an die Gottesmutter. Als sie in einer Pestepidemie Hilfe erhielten, entstand zu dem Gnadenbild eine lebhafte Wallfahrt. Der Augsburger Freskomaler Matthäus Günther stellt das im Chorgewölbe dar. 1735-37 war durch den Wessobrunner Joseph Schmutzer ein stattlicher Neubau errichtet worden, der 1759 seinen malerischen Rokokoturm bekam. Im Turm läuten insgesamt fünf Bronzeglocken in einem Stahlglockenstuhl. Glocke 1 läutet an einem leicht gekröpten Stahljoch, die Glocken 2 bis 4 läuten an geraden Stahljochen mit Obergewichten und Reversionsklöppel. Glocke 5 läutet am geraden Stahljoch.