O Petit Palais foi originalmente construído para a Exposition Universelle de 1900, assim como o palácio vizinho, o Grand Palais, na avenue Winston Churchill. Foi projetado por Charles Girault, com o formato de um trapézio e constituído por quatro alas ao redor de um jardim semicircular ladeado por um peristilo de colunas jônicas. O objetivo de Girault, a união harmoniosa entre o design tradicional e o moderno, foi alcançado magistralmente.

Em 1902 tornou-se o Musée des Beaux-Arts de la Ville de Paris com uma coleção significativa de murais e esculturas criadas entre 1903 a 1925. Os murais são da autoria de Albert Besnard, Cormon e Roll; e as esculturas de Eugène Delacroix, Pierre Lescot e François Mansart. Compõem o acervo do museu quadros de Rembrandt, Rubens, Nicolas Poussin, Claude Gellée,Fragonard, Hubert Robert, entre outros grandes artistas.

A primeira grande contribuição para o Palais de Beaux Arts de la Ville de Paris, como é oficialmente chamado o museu, foi a coleção de Auguste Dutuit (1812-1892) e seu irmão Eugène (1807-1886), de mais de 20 mil obras de arte incluindo cerâmicas da antiguidade, quadros, gravuras, livros raros e objetos medievais. Eles deixaram também um fundo para a aquisição futura de obras de arte.

O acervo atual é dividido em duas seções: a Coleção Dutuit de arte medieval e renascentista e a Coleção Tuck de móveis do século XVIII junto à coleção de quadros da Cidade de Paris.

O tímpano que retrata a cidade de Paris rodeada de musas é obra do escultor Jean Antoine Injalbert. No pavilhão norte, o teto possui duas pinturas de Ferdinand Humbert que celebram o “triunfo intelectual de Paris”. No pavilhão sul, Georges Picard homenageou “o triunfo da mulher”.

Girault queria atribuir ao seu palácio a grandiosidade de um palácio oficial e para tanto criou um elaborado planejamento arquitetônico para elevar a glória da cidade de Paris e celebrar os benefícios da arte. A sua arquitetura serviu de modelo para outros edifícios públicos, especialmente para o Royal Museum for Central Africa, na Bélgica, e o Museo de Bellas Artes, no Chile.

O palácio passou recentemente - de 2001 a 2005 - por uma reforma com o objetivo ampliar a área de exposições, organizar cronologicamente o acervo, adequar as passagens para possibilitar o acesso de portadores de deficiências físicas e criar locais de socialização e ação cultural tais como café, livraria, auditório e jardim.