Църковните Celestines във формата, в която може да се види и днес, е построена през XV век. Строителството му започна през 1396 г. и се провежда почти сто години. Първоначално имаше скромен дървен параклис построен върху мястото на погребението Свети Петър Люксембург. В чест на това погребение беше повикан и района около параклиса - Плас дьо Сен Corp. (площта на свети мощи).

Peter Люксембург е бил известен, че е станал високопоставен духовник в младежките си години - на 15 той е бил епископ на Мец, след което веднага получава титлата кардинал, а от 18 години (1387) е починал от потреблението. След погребението му в Авиньон слухове за останки чудотворната кардинала, и монасите от ордена на Celestines решава да построи над гробницата на манастира. Чрез светците Петър Люксембург е добавен само през 1527 г., а преди това мощите му са отличени без официално признаване на светостта на Църквата.

По-късно, в непосредствена близост до параклиса на църквата Celestines е построен в чест на друг светец - Benezeta, един от най-почитаните в Авиньон. Според местна легенда, в земния живот е прост овчар Бенизет, които Христос се яви и му каза да се изгради на Авиньон мост над Рона. Когато жителите на града поискаха Benezeta им покаже своята изключителност и да прави всякакви чудо, което носеше през града към реката, и огромен камък ги е определила място за изграждане. Бенизет живял през XII век и е канонизиран през XIV век.

Църква Celestines имаше много ценности - религиозни произведения на изкуството и прибори, които по време на Френската революция са били изгорени и самата църква е превърната в казарма. Оцелелите реликви Celestines намерени убежище в други църкви на Авиньон - например, мощите на Св Benezeta погребан в църквата на Св Adeodata.

В момента, двора на църквата става на сцената по време на ежегодния фестивал на юли.