Das Brixner Priesterseminar wurde im Jahre 1607 von Fürstbischof Andreas von Spaur (1601-1613) gegründet, um die Bildung und Moral des geistlichen Standes zu heben, die unter den Wirren der Reformation stark gelitten hatten. In seiner Anfangszeit war das Seminar im Gebäude des Cassianeums untergebracht. Zwischen 1721 und 1747 versahen kurzzeitig auch Jesuiten den Unterricht, die ansonsten an der Universität Innsbruck tätig waren.
Ende des 18. Jahrhunderts zog das Seminar an seinen heutigen Standort, das Heilig-Kreuz-Spital, um. Unter Fürstbischof Leopold Graf Spaur (1747–1778) wurde der mittelalterliche Komplex des Spitals abgerissen und in den Jahren 1764-1771 an seiner Stelle das heutige Priesterseminar errichtet. Im Rahmen des Neubaus erhielt das Seminar zwei Prunkräume: die 1767 geweihte Kirche und den 1772 vollendeten Rokoko-Bibliothekssaal, die beide vom Künstler Franz Anton Zeiller aus Reutte ausgemalt wurden. Die spätbarocke Seminarbibliothek erstreckt sich über zwei Stockwerke, ist mit einer umlaufenden Galerie ausgestattet und beherbergt etwa 20.000 Druckwerke. In der Barockbibliothek sind – mit Ausnahme der Inkunabeln und Handschriften – die ältesten Bücher untergebracht.
Den Grundstock der Bibliothek bilden wohl Bücher der Bibliotheca aulica Brixinensis – der Fürstbischöflichen Hofbibliothek Brixen, durch die viele bedeutende mittelalterliche Handschriften-Codices ihren Weg in die neue Bibliothek fanden – darunter solche aus dem Besitz namhafter Bischöfe wie Ulrich Putsch, Johann Röttel, Nikolaus Cusanus oder Melchior von Meckau.
Die Seminarbibliothek wurde im Laufe der Zeit durch Neuankäufe und umfangreiche Schenkungen vermehrt. Durch Schenkungen gelangten auch die zwei wertvollsten Handschriften in die Bibliothek: das Karnoler Missale mit romanischer Buchmalerei aus dem 12. Jahrhundert und das Coulenborch-Missale mit Miniaturen aus der niederländischen Buchmalerei des 15. Jahrhunderts.
Die Themenbereiche der Bibliothek entsprechen den klassischen Schwerpunkten eines Priesterseminars: Sie umfassen Kirchen- und Profangeschichte, Philosophie, Liturgie, Bibelwissenschaft, Dogmatik, Moral, Kirchen- und Zivilrecht sowie Sakralkunst. Doch auch Bücher zu weltlichen Sachgebieten wie Architektur, Medizin, Naturwissenschaften sowie Literatur zu Handwerk und Landwirtschaft sind im Bestand vertreten.
Im 19. Jahrhundert und zuletzt beim Umbau des Seminars unter Bischof Joseph Gargitter in den Jahren 1957/58 wurde die Bibliothek um zusätzliche Magazinräume, ein Archiv und einen Lesesaal erweitert. Heute umfasst die Bibliothek des Priesterseminars (auch Diözesanbibliothek oder Bibliothek der Philosophisch-Theologischen Hochschule Brixen genannt) insgesamt an die 170.000 Medien – darunter 269 Inkunabeln und 177 mittelalterliche Handschriften.
Der historische Buchbestand der Priesterseminarbibliothek (Druckwerke) wurde in den Jahren 2000-2002 im Zuge des Projekts EHB erfasst. Die mittelalterlichen Handschriften wurden in den 2010er-Jahren in einem Kooperationsprojekt zwischen der Philosophisch-Theologischen Hochschule Brixen und der Universitäts- und Landesbibliothek Tirol in Innsbruck erschlossen, manche anschließend auch digitalisiert.