Исторически музей град на Виена има от 1887 година. Чак до 1959 г. музеят се помещава в сградата на Кметството на виена. Въпреки това, се говори за създаване на отделна сграда за музея се водели още от началото на 20 век, много архитекти са си представяли своите планове, от които особено интересна е предложението на Ото Вагнер. Историческите събития, и по-специално две тежко война са направили някои промени – сградата на музея беше отложено за няколко десетилетия.

През 1953 г. градският съвет на Виена прие резолюция в чест на 80-годишнината на президента на републиката и на бившия кмет на Виена Теодор Кернера, обещавайки да превърне дългогодишната идея за изграждане на музея в реалност. Беше организиран конкурс, за участие в който са поканени да участват 13 архитекти като Клемънс Хольцмейстер, Ерих Больтенштерн и Карл Шванцер. До участие в конкурса допускани всички желаещи участници. Проектите са оценявани от жури начело с председателя на Франц Шустером и директор на отдел архитектура Франц Глюком. Общо в конкурса участваха 80 състезатели и представени общо 96 проекти. Договор за проектиране на сграда в стил арт нуво, както и на дизайн-проект за вътрешни помещения на музея е подписан с Освальдом Хаертлом, който е изненадващо, че в конкурса зае едва четвърто място.

Музеят е открит на 23 април 1959 година. През 1985 г. Робърт Вайссенбергер представи изложбата "Мечта и реалност", която посетен от над 600 000 души, които са направили изложба на една от най-успешните в историята на Виена.

През 2003 г. под ръководството на Волфганг Spit няколко музеи на Виена са обединени, а Историческият музей е преименуван на Виенския музей на Карлсплац.

В музея може да се види на работа Шиле, Кокошки, лоос през. На първия етаж на музея са представени витражи от Катедралата "Св. Стефан", които като по чудо оцелели по време на пожар 1945 г., и на второ сред другите експонати са неща времена турски обсади, сред които флакони, тюрбан и интересен турски план на Виена.

Музея има постоянна експозиция, така и провежда тематични изложби.