Petit Palais е построена през 1317. Той се намира в северната част на площада, пред резиденцията на папската държава, и е наречен така, защото на скромния си размер и стойност в сравнение с Двореца на папите.

Историята на външния си вид неясна: според една версия - тя е построена за племенник на папа Йоан XXII, Arnaud де Via, от друга - тя е построена от Кардинал Беренгере F. старейшина. След смъртта му, дворецът и основанията са били закупени от кардинал Arnaud де Via. През 1335 Via De умря и дворецът бе за никой до пристигането на Папа Бенедикт XII, който го купи отново и се превърна в официалната резиденция на архиепископа на Авиньон.

Сградата е сериозно повредена в периода от 1396 до 1411. Защото той е смятан за крепост на папите Авиньон укрепени. След края на войната, двореца постепенно падна в неизправност. През втората половина на XV век, епископ Ален де Kotivi и неговият наследник Джулиано дела Ровере (който по-късно ще стане папа Юлий II) решава да възстанови сградата и по 1,503 му даде почти изначална форма. Della Rovere пристигна в Авиньон през 1474, когато бе назначен от чичо си, Сикст IV, епископ на Авиньон. Той добави, върху южната и западната фасади в италиански ренесансов стил и в 1487 издигната кула (по-късно, през 1767 е бил разрушен).

По време на Френската революция, дворецът става собственост на държавата, в XIX век е католическо училище и по-късно в професионално училище. Едва в края на ХХ век на територията на двореца е музей.

От 1958 г., в нея се помещава Музея на Средновековието. През 1976 г. там е открита художествена галерия на произведения на майстори на Ренесанса. На 19-те стаи на музея, по-специално, работата на Сандро Ботичели, Taddeo Gaddi, Тадео ди Бартоло, Lorenzo Monaco, включително и тук е най-известният "Madonna" Ботичели.