O palácio, em estilo renascentista, começou a ser construído em 1584 para Diane de France, filha ilegítima do rei Henri II, que lá viveu até sua morte em 1619. Diana, a deusa romana da caça inspirou a decoração dos frontões e as pinturas dos forros internos : lua crescente, cabeças de cães e cervos. Parte deste trabalho artístico pode ser visto na sala de leituras da biblioteca.

Com a morte de Diane de France o edifício foi herdado por seu sobrino, Charles d'Angoulême, que por sua vez era filho bastardo do rei Charles IX e de sua amante Marie Touchet. Homem de armas e bibliófilo aplicado, ele mandou construir uma nova ala ao longo da rue des Francs-Bourgeois, com a pequena torre de vigia que desperta a curiosidade dos passantes. D’Angoulême viveu no palácio até sua morte, em 1650.

Tempos depois o edifício foi alugado por Guillaume de Lamoignon, primeiro presidente do Parlemento de Paris, que o usou como salão aberto para os escritores da época, entre eles Madame de Sévigné e Jean Racine. A família Lamoignon habitou no palácio até 1750 e seu nome ficou a ele ligado até hoje.

Entre 1867 e 1874, o edifício foi residência do escritor Alphonse Daudet, que também recebia amigos escritores, como atesta a frase de seu filho, Léon Daudet: «Periodicamente, Tourgueniev, Flaubert e Edmond de Goncourt vinham jantar com meus pais».

Em 1928, o Hôtel Angoulême Lamoignon foi comprado pela cidade de Paris e, em abril de 1937, foi tombado como monumento histórico. Restaurado entre 1940 e 1968, o edifício abriga, desde 1969, a Biblioteca Histórica da Cidade de Paris com um acervo contendo documentos, manuscritos, mapas, cartazes, recortes e fotografias. A biblioteca fica diante do Museu Carnavalet, também ele dedicado à história de Paris.