Nesta área do entorno sul e leste de Notre Dame, desde o século XVII, encontravam-se o palácio e os jardins do Arcebispado de Paris. Em 1831 o palácio foi atacado durante uma revolta e mais tarde acabou por ser demolido. A idílica praça ali construída em 1844 ficou conhecida como Square de l' Archevêché e, mais de um século depois, recebeu a nova denominação em homenagem ao popular Papa João XXIII - papa de outubro de 1958 a junho de 1963 e grande reformador da Igreja Católica. Em 1845, entre as alamedas arborizadas, foi erguida a neogótica Fontaine de la Vierge.
Há muitos bancos para sentar-se e desfrutar a atmosfera bucólica da praça, observar a engenhosa estrutura externa da catedral de Notre Dame e os magníficos arcobotantes que suportam as tensões das altas paredes das naves e da ação do peso do teto.