Das Schloss wurde erstmals im 13. Jahrhundert urkundlich erwähnt und diente als ehemalige Grenzfeste gegen Bayern schon Kaiser Maximilian I. als Jagdschloss. Jedoch wurde die ursprüngliche Wehrburg im späten 15 Jahrhundert in Folge eines Brandes, völlig zerstört. 1554 erwarb der wohlhabende Augsburger Kaufmann Georg Ritter von Ilsung das Schloss, erweiterte und veränderte Tratzberg geprägt durch den Zeitgeist der Renaissance. Zeugnis dafür sind der prachtvoll bemalte Innenhof und erlesene Renaissancezimmer.

Es folgte nach mehreren Besitzerwechseln eine Zeit, in der Tratzberg fast 150 Jahre unbewohnt blieb. Durch Heirat des Franz Graf Enzenberg mit Ottilie Gräfin Tannenberg, ging das mittlerweile fast verwahrloste Schloss im Jahre 1847, in den Besitz der Grafen Enzenberg über, deren privater Wohnsitz es bis heute blieb.

Bis heute ist es nur dem großen Einsatz der Familie zu verdanken, dass das ca. 6800 qm große Tratzberg, mit seinem 5000 qm Schindeldach, wieder zum Inbegriff eines Tiroler Schlosses des 16. Jahrhunderts und damit zu einem der bedeutendsten Kunst- und Kulturdenkmälern des Landes wurde und der breiten Öffentlichkeit zur Besichtigung zugänglich ist.