Projetado pelo arquiteto Jean Androuet du Cerceau este edifício de estilo renascentista foi construído entre 1625 e 1630 para um rico financista. Tem um pátio na frente e um grande jardim atrás, aonde havia um pomar. Aos fundos está ligado por uma passagem, que parece secreta, para a Place des Vosges, na época chamada Place Royale.

Em 1634 foi adquirido pelo duque de Sully, Maximilien de Béthune, que havia sido superintendente das finanças do rei Henri IV. Sully viveu no palácio até sua morte. Seu neto herdou a morada e acrescentou mais uma ala em 1660.

O palácio ficou em mãos da família Sully até o século XVIII. Depois foi ocupado por diversos inquilinos, sofreu modificações e adaptações e foi vendido várias vezes para fins comerciais. Classificado como monumento histórico em 1862 e finalmente comprado pelo Estado em 1944, foi submetido então a um longo e minucioso trabalho de restauração, baseado em desenhos e gravuras da época. Desde 1967 abriga o Centro dos Monumentos Nacionais, responsável por administrar os mais importantes monumentos, editar obras sobre o patrimônio histórico e organizar exposições temporárias.