Situada nas proximidades da Sorbonne e do Panthéon, no alto da Montagne Sainte-Geneviève, esta biblioteca está instalada num edifício enorme e monolítico, que contrasta desagradavelmente com os monumentos neoclássicos do entorno. A obra é do arquiteto Henri Labrouste, vencedor do prestigiado prêmio de Roma em 1824, que recebeu a encomenda em 1838 e teve o projeto aprovado em 1843.

O edifício atual foi erguido no terreno que ocupara o histórico colégio Montaigu, fundado no século XIV, pelo qual passaram Erasmo e Rabelais. A primeira pedra foi colocada em 1844 e a nova biblioteca recebeu seus primeiros leitores em 1851. O seu interior revela um espaço bem mais agradável do que se pode imaginar olhando do exterior, sobretudo grande amplitude e luminosidade. Merece especial destaque o uso que o arquiteto Labrouste deu ao ferro, tanto nas estruturas quanto na ornamentação.

A biblioteca é herdeira das preciosas coleções históricas da abadia de Sainte-Geneviève, cuja origem remonta a 1624, com a doação de 600 volumes da coleção do cardeal de la Rochefoucould. Em 1710 recebeu a doação da magnífica coleção de livros e manuscritos do arcebispo de Reims, cardeal Cahrles-Maurice Le Tellier, filho do ministro do rei Louis XIV.