В Средновековието Анеси е столичным град Женева окръг, а извисяващ се в центъра на Анеси, замъкът е бил резиденция на женевских на зигмунд фройд. Замъкът е построен през XII век на мястото на крепостта, построена от четири столетия по-рано. През XIII век се превръща в място на пребиваване на членовете на графской имената, по-късно се премества към герцогам савойски е построена.

През Средновековието замъкът на няколко пъти уничтожался пожари, но всеки път наново, все повече укрепваше неговата отбрана. Въпреки това, независимо от дебелината на стените, заплашителен вид и отлично местоположение на върха на хълма, в първата половина на XVII век, замъкът е превзет от френската армия. През XVII век в замъка са настанени казарми и склад, едно време той дори служи като убежище за бездомни. Само в средата на XX век сградата е даден статут на исторически паметник и днес тя е поставена музей, в който могат да се видят произведения на изкуството и предмети от различни епохи.

Един от най-известните жители на замъка е Робърт Женева - родивший тук в 1342 г., син на граф Амадеус III. Робърт автомобилното изложение в Женева е известен и по името на антипапы Климент VII – доста боец и жесток, прякор мясником и палач на собствените си методи на работа с бунтовници. През втората половина на XIV век в католическия свят имаше двама бащи – един официално избран на градската среда VI и втората, избран кардинальской "опозицията" Климент VII, който се надяваше да вземе Рим сила и сваляне на Урбан VI. Като претърпели провал, антипапа Климент установява в Авиньон, в която някога се помещава папская резиденция.

След смъртта на Климент VII през 1394 г., Анеси е единна, с Савойей и вече статут на столица на страната, така и самото Женевското окръг също не стана. Благодарение на герцогам савойски е построена замък е придобил своята най-красива кула Перрьер.

Днес замъкът е заобиколен от красиви градини и други исторически забележителности. С неговите стени се вижда самия град и езерото Анеси.