Das erste Gotteshaus soll um die Mitte des 11. Jh. am Weizberg errichtet worden sein. Um 1140 wurde vom Salzburger Erzbischof der erste Pfarrer für Weiz („Wides“) bestellt. War dieser zuerst noch dem Hauptpfarrer von St. Ruprecht untergeordnet, wurde die Pfarre Weiz bald selbständig und umfasste im Laufe der nächsten Jahrhunderte ein immer größeres Gebiet, das von Passail bis St. Radegund reichte. Die heutige Größe bekam die Pfarre im 19. Jh., nachdem auch Gutenberg eine eigene Pfarre werden konnte.


Vom Mittelalter an bis Ende des 18. Jh. war der Weizberg auch eine weithin bekannte Wallfahrtsstätte. Das Wallfahrtsleben kam nach den josefinischen Reformen jedoch beinahe zum Erliegen.
Die ursprüngliche Kirche auf dem Weizberg war eine dreischiffige romanische Basilika. Um die Mitte des 14. Jh. wurde die Kirche durch den Zubau eines gotischen Chores vergrößert. Damals war die Kirche „Mariä Himmelfahrt“ geweiht.


Durch die Zunahme der Pfarrbevölkerung und der Wallfahrer wurde im 18. Jh. der völlige Neubau der Kirche notwendig. Dieser wurde 1757/58 durch den bekannten steirischen Barockarchitekten Josef Hueber durchgeführt. In zwei Jahren hat man an der Stelle des alten Gotteshauses das neue errichtet, ohne dabei aufzuhören, in der Kirche die Messe zu feiern.
Für die Innenausstattung wurden die bekannten Künstler Josef Ritter von Mölck (Fresken und Altarbilder), Veit Königer (Hochaltar) und Jakob Peyer (Kanzel und Seitenaltäre) gewonnen.