Este palácio conta estórias de amor, intriga, traição e desgraça que poderiam até ter saído de algum romance folhetinesco. O lote onde está o Hotel de Lauzun foi adquirido pelo rico financista Charles Gruyn des Bordes em 1641. Ele e sua esposa, Geneviève de Mony, encomendaram as obras do palácio que foi concluído em 1657, com base em projeto do arquiteto Louis Le Vau. As iniciais entrelaçadas de Gruyn e Mony, G e M, aparecem nas chaminés e na decoração. Gruyn era ligado a Nicolas Fouquet, ministro do rei Louis XIV. Quando Fouquet caiu em desgraça e acabou preso na Bastille, Gruyn sofreu o mesmo destino e morreu na prisão. Sua viúva assumiu os negócios do marido, separou-se dele, sobreviveu à sua ruina e deixou o palácio como herança para o filho.
Numa trama paralela, Ane Marie Louise d'Orléans, Duchesse de Montpensier, conhecida como Grande Mademoiselle, apaixonou-se por um nobre arruinado, Antoine Nompar de Caumont, Duc de Lauzun, e pediu ao rei Louis XIV autorização para casar-se com ele . A união foi autorizada e marcada para dezembro de 1670, mas, numa novelesca reviravolta provocada por intrigas na corte, o casamento foi cancelado. A seguir, sem motivo oficial, Lauzun foi jogado numa prisão onde penou por dez anos. A duquesa lutou para libertar seu amado e procurou os bons ofícios de Madame de Montespan, amante do rei e tida por muitos como a "verdadeira rainha da França". A libertação do amado Lauzun lhe custou a venda de preciosas terras e a entrega dos títulos de nobreza ao filho mais velho do rei e de sua amante. Lauzun foi libertado em 22 de abril de 1681, mas proibido de viver em Paris. A Grande Mademoiselle teve que ceder seus ducados de Saint-Fargeau e Châtellerault para o filho de madame Montespan para obter autorização de viver com seu antigo amor no Hôtel de Lauzun a partir de março de 1682. Mas a Grande Mademoiselle e Lauzun não conseguiram ser felizes, o amor, volátil como o éter, não resistiu a tantas peripécias.
Tempos depois, O Hôtel de Lauzun tornou-se propriedade de uma sobrinha-neta do poderoso Cardinal Jules Mazarin, personagem que tem papel de destaque nos romances de Alexandre Dumas. Ela fugiu do Convento de Chaillot com o Marques de Richelieu, mas acabou por abandoná-lo quando estavam em Londres. Richelieu resolveu vender o palácio em 1709 para Pierre-François Ogier, que tinha o cargo de "receveur du clergé".
No século XVIII a aristocracia se deslocou para áreas mais chiques e amplas a oeste de Paris, a Île de Saint-Louis entrou em temporário declínio, mas o palácio continuou em mãos de aristocratas e foi adquirido pelo Marquês de Pimodan. Depois da Revolução Francesa, como aconteceu com vários palácios da ilha, o Hotel então conhecido como Pimodan teve suas dependências superiores divididas em apartamentos que foram alugados para artesãos, artistas e intelectuais com recursos. Assim, em 1840, o palácio recebeu os poetas Charles Baudelaire e Théophile Gautier como inquilinos. Ali foram lavrados os primeiros versos de Les Fleurs du Mal, possivelmente até sob o efeito do hachiche, pois os dois amigos haviam fundado o Club des Hashischins, onde a droga era usada a título experimental... Agora o Hotel de Lauzun pertence à Cidade de Paris e só pode ser visitado às segundas e terças em visitas guiadas.