Историята на музея от Затвора на портата се простира навътре в продължение на седем века, нищо чудно, че той е включен в списъка на 100 най-важните исторически паметници на Холандия.

В 1280 г. портата на площад Бейтенхоф са основен вход в двореца, която е известна сега като Бинненхоф. 1428 г. портата, започва да се използва като място за сключване на длъжника или на престъпници, очакван на съда.

Сто години по-късно са били до вратата на пристроены нови камери и помещението на съда. Чак до XVII век лишаване от свобода не е наказание като такъв - наказание са наказания, изгнание, телесното наказание или на смъртното наказание.

Тук се съдържат известни исторически личности: Корнелис де Вит, обвинен в заговор срещу Вилхелм Orange и писател, учен и философ Дирк Волькертсен Коорнгерт. Затворът е продължило 400 години, но до 1828 г. затворници тук вече не е. Два пъти се изразява оферти за събаряне на това съоръжение – в 1853 и през 1873 г. слава богу, до това не се стигна, и с 1882 Тюремные портата са се превърнали в музей. Някои части на музея могат да бъдат посетени само ако са придружени от екскурзовод.

В съседната сграда се помещава Галерия Уилям V – художествена галерия, основана през 1774 г. Уилям V, принц Оранским. От 2010 г., посетителите могат да влязат в галерията по една вита стълба, която свързва двете сгради. Колекцията, която е представена там сега е модерна реконструкция на 1774 г., която също е разположена на горния етаж на къщата. Картини тясно окачени по стените, както е било прието през XVIII век. Живописните платна са предадени на музея Mauritshuis през 1822 г., който е на официално собственик на картини.