Um elegante palácio medieval com aspecto de pequena fortaleza abriga, desde 1886, esta biblioteca especializada em arte decorativa, belas artes, artes gráficas, artesanato e suas várias técnicas. Ela oferece também uma magnífica coleção de papeis de parede pintados, telas impressas e um dos mais importantes fundos iconográficos. A Bibliothèque Fornay recebeu esse nome como homenagem a Samuel-Aimé Forney, industrial que no século XIX doou recursos para a formação de artistas.

A biblioteca está instalada no Hôtel de Sens que, devido ao estilo arquitetônico medieval tardio, é bem distinto dos palácios da época. As torres de vigilância nos ângulos e paredes pesadas como muralhas contrastam com os refinados elementos decorativos de estilo flamboyant nas claraboias e no pórtico. Mas a distribuição do espaço é inovadora e se tornaria padrão nos palácios edificados em Paris a partir do século XVI: um edifício principal, o corps de logis, com duas alas que envolvem um pátio e, na parte posterior, um jardim. No caso do Hôtel de Sens, um belíssimo jardin.

De 1605 a 1606 o Hôtel de Sens foi residência de Marguerite de Valois, a reine Margot, primeira esposa do rei Henri IV, cujo casamento fora anulado pela igreja católica em 1599. Margot foi famosa pela vida desregrada que levava e pelas intrigas de que participou. Tornou-se célebre graças ao livro de Alexandre Dumas, La Reine Margot.

O Hôtel de Sens foi tomado pelo Estado durante a Revolução Francesa. Em 1797 foi vendido para particulares. Durante todo o século XIX teve os mais diversos usos comerciais e acabou bastante arruinado. O bom senso fez com que fosse tombado como monumento histórico em 1862. Depois de muitas pressões públicas o palácio foi adquirido pela cidade de Paris em 1911. A partir de 1933 foi submetido a um longo trabalho de restauração e reconstituição, baseado em desenhos e gravuras da época, que só foi concluído em 1961. Desde então abriga a Bibliothèque Fornay.