Encomendado pelo bispo de Strasbourg, filho do príncipe e da princesa de Rohan-Soubise, este palácio foi construído entre 1704 e 1709 pelo arquiteto Pierre-Alexis Delamair que projetou também o Hôtel de Soubise. Mas há uma grande diferença arquitetônica entre eles: o Hôtel de Rohan ocupa um terreno menor, é mais alto (com 4 pavimentos) e tem estilo mais clássico. Os dois palácios fazem parte hoje do conjunto que abriga os Arquivos Nacionais da França.

Em 1809 Napoleão instalou ali a sede da imprensa imperial, depois transformada em imprensa nacional. Este uso deteriorou muito o edifício que teve inclusive uma importante escadaria demolida e depois reconstruída.. A partir de 1927, quando a imprensa nacional deixou o local, o palácio passou a abrigar parte dos arquivos nacionais.

As únicas oportunidades de visitação ocorrem durante as exposições temporárias. Nessas ocasiões, além do edifício propriamente dito, vale a pena visitar a divertida Sala dos Macacos (Le Cabinet des Singes). A decoração externa é discreta, mas merece destaque o baixo relevo “Cavalos de Apolo”, do escultor Robert de Lorrain, que decora a entrada que dava para os estábulos.