На мястото На сегашния Музей Кальве по-рано се е намирала кардинальская резиденция - Ливре дьо Камбре, наречен така в чест на веднъж жившего тук кардинал Пиер Д ' Айли, епископ дьо Камбре. В 1719 г. сградата е продадена на Франсоа-Рене дьо Вильневу, маркиза д ' Арзелье и сеньору де Мартиньян.

В 1734 г. неговият син Жак-Игнас де Вилньов е решил да разшири владенията си и да построи нов дворец. Строителството е започнато под ръководството на Томас Лэне, но след това го смениха архитекти Жан-Батист Франк и Франческо Франк. Строителните работи са били завършени само 1749 година. През 1802 имението си купих негоциант Делетр, който на свой ред дал сграда под наем на властите в Авиньон, за да се настанят тук колекция Эспри Кальве. На 3 март 1833 сградата е закупен от община Авиньон под музей. От 1 октомври 1963 г. градска къща Villeneuve-Мартиньян е включен в списъка на историческите паметници на Франция.

Тук се съхранява една от най-големите колекции от картини на Франция. Събира колекция започна местен лекар (нумизмат, библиофил и археолог) Эспри Кальве, а по-късно, през 1810 г. той завещава своите колекции и библиотеката на музея на живописта. Експонати на музея са произведения на приложното изкуство, скулптура, порцелан, но е особено интересен отдел живопис, която обхваща периода от XVI до XX век — от Вазари и Лука Джордано до Давид, Коро, Ман, Сутина и Bonnard.

Тук, в градския имение от Villeneuve-Мартиньян, към който са пристроены модерни сгради, се намира основната колекция. Библиотека, събрана Кальве и значителна колекция от почти 12 000 монети и медали са транспортирани до друго място на града.