Кралския дворец е една от основните забележителности на Будапеща. Първите укрепване на това място са били строени след татарски нашествия, на около 1247 г., е, Че при IV. Комплекс от сгради, за първи път в този 1439 г., носи името на двореца Фришш. След това е достроена кула Чонка, изграждането на която е било спряно поради смъртта на краля.

При Матяше интериори на двореца стават все става по-сложен и по-богати. В 1541 г. го превземат турците, той страда и от пожари, земетресения и епидемии. В 1686 г., при щурмуването на крепостта, са загинали от малкото, което е пощадена от турците. Дворецът е строен наново и увеличена при Мария Тереза. През XIX век дворецът започва да се разшири по проект Миклоша Ибла. Над интериор декор са работили най-известните майстори от онова време, но техните произведения са загинали по време на Втората световна война.

В наши дни Дворцовият квартал е един от основните културни центрове на Будапеща. Тук се помещава колекция на унгарския изобразително изкуство – Унгарската национална галерия, Музей на историята на модерните времена и Държавна библиотека им. Széchenyi.