Малкият дворец е бил построен през 1317 година. Той се намира в северната част на площада, срещу Папската резиденция, и е наречен така именно заради своите скромни размери и стойности, в сравнение с двореца на римските папи.

История на появата му туманна: според една версия – тя е построена за племенник на папа Йоан XXII, Арно дьо Виа, от друга - той е построен от кардинал Беренжером Af-Старши. След смъртта му в двореца и прилежащата територия са били изкупени от кардинал Арно дьо Виа. През 1335 г. Дьо Виа почина и двореца на никого не принадлежи чак до идването на папа Бенедикт XII, който отново е купена му и се е превърнал в официална резиденция на авиньонского архиепископ.

Сградата пострада значително в периода от 1396 по 1411 г., тъй като се е смятало укрепена цитадела авиньонских татковци. След края на военните действия дворец постепенно да запада. През втората половина на XV век, епископ Алан де Котиви и неговия последовател Джулиано della Rovere (който впоследствие ще се превърне в Папа Юлий II) решава, възстановяване на сградата и до 1503 г., даде му почти девствен вид. Della Rovere пристигнал в Авиньон през 1474 г., тъй като той е назначен за своя чичо, Баща Сикстом IV, епископ авиньонским. Той строеж на южната и западната фасади в стил на италианския ренесанс и в 1487 г. издигна кула (по-късно, в 1767 г. тя е била разрушена).

По време на френската революция дворецът става собственост на държавата, на XIX век в него е била католическа гимназия, а по-късно професионално училище. Едва в края на ХХ век на територията на двореца е открит музей.

От 1958 г. тук е Музей на Средновековието. През 1976 г. тук е открита художествена галерия на творби на майстори от епохата на Възраждането. В 19 зали на музея са изложени на показ, по-специално дейността на Сандро Ботичели, Таддео Гадди, Таддео ди Бартоло, Лоренцо Монако, включително и тук е разположен и известния "Мадона" от Ботичели.