Резиденция Takayama-дзинья интересна като бивша застава, която е създадена от държавата, за да доведе провинция Хида под контрола на правителството бакуфу (сегуната) в периода Едо. Причината за такова внимание сегуната са големи запаси на дървен материал в провинцията. "Застава" е построена в близост до града, който в момента се нарича Хатикен-мати. Тя се намира в старата част на града, недалеч от моста Накабаси.

Сградата първоначално е принадлежала на княз Канамори, която управляваше владенията на Хида Takayama Хан и използва това помещение като вашата вила. След като през 1629 г. военно правителство бакуфу е установен пряк контрол върху Хидой, сградата е реставрирана и се използва като офис заместник-местния управител. След 1777 г. в сградата се помещава местната администрация.

Основната сграда на резиденцията е бил реконструиран през 1816 г., като в този вид тя може да се види и сега. Вътре в сградата, построена в традиционен стил, може да се види в стаята, които са били използвани за жилища, както хотелски стаи, офиси, зали за срещи и други събития, има и стая, в която са проведени разпити.

На територията На резиденцията могат да се видят къщи-магазини, които първоначално са били построени близо до замъка Takayama, а в 1695 г. са били пренесени на сегашното им място. Покривите на тези сгради са покрити с дървени керемиди – и макар материал използван един и същ, методи за неговото полагане се различават. Се е смятало, че в региона Хида, където през зимата много сняг, се използват глина облицовка на по-малко изгодно от дърво. Освен това, в Хиде дървени строителни материали са били по-достъпни.

В непосредствена близост до основната сграда на 1600-те години е построена ориз, склад, известен като най-голям в Япония. Сега в нея се намира музей, в който са представени нещата феодали Хиды, документи, стари карти на провинция Хида и исторически планове на града.

След Реформацията Мейдзи сграда Takayama-дзинья се използва като офис администрацията на префектурата. През 1929 г. той е бил признат за исторически паметник, но до 1969 г. продължава да служи като административен локализация. В момента Takayama-дзинья напълно възстановена в първоначалния си вид и е защитен обект, представляващи историческа стойност.