Църквата целестинцев във формата, в която може да се види в момента, е построена през XV век. Изграждането му е започнало през 1396 г. и учителите почти сто години. Първоначално имаше скромна дървена параклис, построен над мястото на погребението на свети Петър Люксембургската. В чест на това погребение е име и района около параклиса – Плас де се Строи-Сейнт (размер на реликви).

Петър Люксембургската е бил известен за факта, че се превърна в високопоставени церковником в млади години – на 15 години той вече е бил епископът на Мец, скоро след това получава титлата кардинал, а на 18 години (1387 г.), починал от чахотки. След неговото погребение в Авиньон тръгнаха слухове за чудотворности кардинальских останки, и монасите на ордена на целестинцев взе решение за изграждане на над гроба манастир. На лику светите Петър Люксембургската е причислен само през 1527 г., а преди това му мощи били почитаните и без официално признание на светостта на Църквата.

По-късно, в близост до църква целестинцев е построен параклис в чест на още един светец – Бенезета, един от най-почитаните в Авиньон. Според местна легенда, в земния живот Бенезет бил прост овчар, на когото му се явил Христос и заповядал да се изгради в Авиньон моста на Рон. Когато жителите на града поискаха от Бенезета да ги докаже своята избранность и изявяват някакво чудо, той извършили през целия град до река огромен камък и маркира им на място за изграждане. Бенезет живял през XII век и е бил канонизиран през XIV век.

Църквата целестинцев притежава много съкровища – произведения на изкуството, религиозни и принадлежности, които по време на Френската революция са били изгорени, а самата църква е превърната в казарму. Оцелелите останки целестинцев намерили подслон в други храмове Авиньон – например, мощите на свети Бенезета погребани в църквата " Св. Адеодата.

В момента в двора на църквата се превръща в театрални подмостками по време на провеждането на годишния прогнозния юли на фестивала.