O Musée d’ Orsay está instalado numa antiga estação de trem, a Gare d’Orsay, de onde saia a ferrovia de Paris a Orléans. Nesse local existiu ate 1871 um antigo palácio administrativo, o Palais d’ Orsay. O edifício atual é um projeto do arquiteto Victor Laloux e foi inaugurado em 1898 para fazer parte da Exposição Universal de 1900.
Pouco antes da Segunda Guerra Mundial, em 1939, a Gare d’Orsay deixou de atender a linha para Orléans e foi rebaixada a estação de rede suburbana. Durante a guerra serviu como central de correios e acabou sendo fechada em janeiro de 1973. Muitos propuseram sua demolição, mas o governo francês tomou a decisão mais sensata: em 1977 decidiu transformar o histórico espaço num museu.
Seis projetos foram apresentados em 1979 e foi escolhido o dos arquitetos Renaud Bardon, Pierre Colboc e Jean-Paul Philippons, que respeitava a arquitetura original de Laloux ainda que adaptando o espaço interior às novas funções do edifício. O museu foi inaugurado no dia 1 de dezembro de 1986 pelo presidente socialista da França, François Mitterrand, e hoje é um dos mais visitados de Paris. Nele se encontram os principais escultores e pintores do século XIX e início do século XX, entre os quais se destacam os impressionistas.
A visita da cafeteria, Couloir Café, é também é obrigatória. Situada no último andar de frente para o Sena tem um terraço que oferece um panorama maravilhoso do rio e da Rive Droite, em especial do Jardin des Tuileries e do Palais du Louvre.