La Grande Bibliothèque naquit grâce à la vision de grandeur du Jedi Odan Urr. Après la mort de son maître durant la grande guerre de l’hyperespace, ce Jedi décida de fonder un centre d’entrainement et de savoir renommé. En hommage à son maître Ooroo qui l’avait entraîné là-bas, il choisit la planète Ossus pour concrétiser son projet.

Bâtie vers – 5 000 sur une colline rocheuse, la structure de ce majestueux édifice de pierre s'inspirait du style architectural de l’époque et notamment de celui du Temple Jedi de Coruscant. Le bâtiment principal, relié à quatre imposantes tours, possédait plusieurs entrées auxquelles on accédait par de grands escaliers habilement sculptés.

Les milliers de documents de la Grande Bibliothèque traitaient de la Force, de l’Histoire de l’Ordre ainsi que des arts et de la sagesse Jedi. Conservés sur des supports variés allant du simple manuscrit au stockage informatique, ces documents étaient triés selon leur époque d'origine et rangés en conséquence dans une des quatre tours. Chacune d'entre elles représentait une des quatre ères : la Pré-Hyperdrive, la Pré-République, la République-Précoce et la République-Mature. Bien qu'efficace et fonctionnel, le système de classements s'avérait en réalité très complexe, ce qui faisait de la bibliothèque un lieu où il devenait parfois difficile d’accéder à ses fins sans l’aide des conservateurs et bibliothécaires mandatés par Odan-Urr. Ce dernier, considérant que toute créature vivante possédait le droit au savoir, ouvrit le premier niveau à tous, afin de diffuser la connaissance et la sagesse au plus grand nombre.

Au contraire, certains autres secteurs de la Grande Bibliothèque avaient un accès très restreint. Les documents les plus anciens, les plus précieux ainsi que les manuscrits originaux étaient conservés dans la grande Chambre des Antiquités, un complexe de différentes salles situées sous le bâtiment principal. Seuls quelques privilégiés pouvaient y accéder afin de consulter et de réaliser des recherches sur ces véritables trésors de l’Ordre. Cette chambre abritait également les connaissances Sith sous la surveillance d'Odan-Urr, le Gardien des Antiquités. Ce savoir interdit se composait d’études profondes du côté obscur dont notamment celles des Holocrons Sith. Ces dangereux artefacts étaient classés et conservés de telles sortes qu’ils ne puissent pas tomber entre les mains de quelqu’un susceptible d’en faire une mauvaise utilisation.

Cet éminent centre d’enseignement et de savoir connut une fin tragique à l’instar de la planète Ossus. Lors de la Grande Guerre des Sith, Exar Kun déclencha un cataclysme à l’aide d’une arme Sith : une lame de feu rasa la surface de la planète, détruisant l'œuvre d'Odan-Urr. Peu de temps avant l’impact, de nombreux Jedi cherchèrent à emmener le plus de savoir possible. Exar Kun et Ulic Qel-Droma débarquèrent avec leurs sbires afin de piller les connaissances Sith et Jedi que renfermait la Bibliothèque. Ce fut sans compter la bravoure du vénérable maître Ood Bnar qui défendit des artefacts Jedi en mutant vers le dernier stade d’évolution de son espèce. Ce n’est que des milliers d’années plus tard que le vieux maître Jedi donna ce savoir à Luke Skywalker et Kam Solusar, à la recherche des origines Jedi sur Ossus ainsi que des ruines de la bibliothèque.