Сред многобройните сгради на Таганрог, особено се откроява с великолепието на двореца Алфераки с изумителен зала с золочеными тавани, хорове за музиканти, огромни уникални полилеи. Външната страна на сградата привлича погледи на своите необичайно пищна и богата на архитектурни декор, тежки ляти украса в бароков стил, високи централни колони, рязко очерченным портик, където преди революцията е бил поставен родовия герб на Хандриных.

Дворей Алфераки е построена през 1848 година по проект на известния архитект от санкт Петербург A. I. Штакеншнайдера, признат по онова време авторитет в дворцовата архитектура, поръчано от един от най-богатите земевладелци Таганрог, собствениците, Николай Петър Алфераки.

Семейство Алфераки отнася до многобройна гръцка диаспора южна Русия, основната част от което се установява на Черно и Азовско брегове по време на царуването на императрица Екатерина Велика. Първият в таганрогскую земята пристигна след края на руско–турската война 1768-1774 г. Дмитрий Илич Алфераки. Той, като офицер, беше определен имот Приазовье, наречен в чест на родния села Лакодемоновкой.

Семейството приключи постройка на имението през 1848 година. По-късно към дома е приложен величествената зала на почти 9-метрова височина, украсена камина, картини, масивна с часове, мраморни скулптури. Построен имението на великолепию вътрешни и външни облицовки и артистични стенописи наистина си представял себе си в двореца. Семейство щастливо живя в имението на около 30 години. Принц М. Г. Голицын след престой в Таганроге през 1857 г. по-специално се споменава в списание "Библиотека за четене" богатство и художествено изящество дома Алфераки.

В основната двуетажна сграда на правата на домакин са пребивавали на собственика на земята Николай Kamelia Алфераки, а в голямото крило – синовете на по-големи Алфераки – Николай, Сергей, Михаил и Ахил. Те не са станали продолжателями търговски дела на баща си: Ахил стана композитор, Николай – известен пътешественик. Не е чудно, че след смъртта на бащата Н.Д. Алфераки, пищен начин на живот на децата, подадена имение в упадък. През 70-те години на жилищна собственост разрослось на целия квартал и преминават в собственост на търговеца Негропонте, който распродал му парче по парче. Дворецът и градината выкупило общество търговци за "Търговски събрание" - така се е наричал им клуб. В залата на клуба, често подредени концерти с участието на известни личности от онова време. Тогавашната живот на клуба с неизбежни карточными игри ярко описва А. на П. на Чехите след престой в Таганроге в разказите "Ионыч", "Маска", "Моят живот".

След революцията 1917 г. в сградата са налични различни институции, а от 1927 г. тя е прехвърлена краеведческому музей, основан в Таганроге A. P. Чехов. Създаденият в оскъдни средства музеят се нуждаят от основен ремонт, и го започнали през 1966 година. А завършиха ремонт до ноември 1971 г., преобразив го по такъв начин, че с тавани изчезна художествена гипс и боядисване на библейски теми, в запасники почистват огледала и скулптура - минимализъм не трябваше да отвлича вниманието от основната експозиция.

В периода 1989-1996 г. в Двореца проведе възстановителни работи, които могат до голяма степен да възстанови миналото величие и архитектурен блясък на сградата, функции, известния двухярусного зала, където днес се провеждат изложби, концерти, честват бележити дати в историята на града, минават на тържествената церемония. От 1995 г. е отворена сега действаща експозиция, се връща традицията на концерти и изложби, музей отново се превърна в център на културния живот на Таганрог.