Esta monumental igreja tem uma história tortuosa. Um primeiro projeto foi encomendado em 1757 ao arquiteto Pierre Contant d'Ivry (1698-1777) e a primeira pedra foi colocada por Louis XV no dia 3 de agosto de 1763. Pierre d’Ivry morreu e seu substituto modificou todo o projeto. Em 1789, com o advento da Revolução Francesa, investir na obra de uma igreja era inimaginável e os trabalhos foram interrompidos.
Em 1806, inebriado com suas vitórias, o Imperador Napoléon assinou no campo de Poznan (Polônia) um decreto determinando a construção de um templo à Gloria, para homenagear os exércitos franceses. Foi organizado um grande concurso no qual participaram 90 artistas e saiu vitorioso o arquiteto Étienne de Beaumont (1757-1811). Mas o imperador decidiu contrariar o júri da Academia Imperial e mandou contratar Pierre-Alexandre Vignon, que havia projetando um templo períptero (com colunata nos quatro lados) inspirado na arquitetura greco-romana, em especial num dos mais bens conservados templos romanos, conhecido como Maison Carrée na cidade de Nimes. O edifício seria cercado por 52 enormes colunas da Ordem Coríntia, com 20 metros de altura.
Demoliu-se em seguida tudo o que havia sido construído até a eclosão da Revolução Francesa e a nova obra avançou célere até 1811, mas então teve que reduzir o ritmo devido à falta de dinheiro. Derrotado na campanha da Rússia, em 1812, Napoléon desistiu do templo à Glória e decidiu transforma-lo numa igreja.
As peripécias do monumental edifício continuaram. Napoléon foi deposto, o arquiteto Vignon, que ainda dirigia o canteiro, morreu em 1828 sem ver sua obra concluída. Entre restaurações monárquicas e revoluções, a sobrevivência ou o destino da construção continuaram incertos. Finalmente, graças a uma lei de 1834 que liberou recursos para obras públicas que pudessem absorver a mão de obra desempregada, os trabalhos foram retomados. A igreja foi concluída em 1842 e consagrada em 1845 pelo arcebispo de Paris.
Após a imensa colunata da fachada destaca-se a colossal porta de bronze cujos baixos relevos representam os Dez Mandamentos. Na ampla nave há numerosas obras de renomados artistas do século XIX, como Pradier, Rude,
Barye, Ziegler e Marochetti. O grandioso órgão foi construído em 1845, pelo célebre Aristide Cavaillé-Coll e teve como organistas titulares, entre outros,
Camille Saint-Saëns (de 1858 a 1877) e Gabriel Fauré (de 1896 a 1905)
A cerimônia fúnebre de Frédéric Chopin (1810-1849) foi celebrado na Madeleine. Fato curioso é que o famoso compositor e pianista faleceu no dia 17 de outubro de 1849, mas o funeral teve que aguardam até o dia 30 de outubro. Num de seus últimos desejos, Chopin pediu que na cerimônia de adeus fosse executado o Réquiem de Mozart. A obra tem um coral com grande participação de vozes femininas, mas na igreja da Madeleine não eram permitidas vozes femininas no coro. Após longas negociações, as autoridades eclesiásticas autorizaram a participação das cantoras... desde que cantassem escondidas atrás de uma grande cortina de veludo negro.