Оригиналът на Еврейски музей на Виена е основан през 1896 г. и е първият музей от този вид в света. Музей имаше с подкрепата на "Дружество за събиране и запазване на художествени и исторически паметници на еврейството". Той беше фокусиран върху историята и културата на евреите в Австро-Унгарската империя. Неговата колекция от предмети и изделия от Палестина и отразяваше политическа дискусия за сионизме. Музеят е затворен веднага след заснемане на Австрия от нацистите. В последната година на своето съществуване, той е имал 6474 различни експонати. През 1939 г. те са били предадени в музея на етнологията и други институции.

Повечето неща бяха върнати на еврейската общност в началото на 1950-те години, но някои не успяха едва през 1990-та година. Много от експонатите са били загубени. Когато в Новия еврейския музей е била извършена инвентаризация, се оказа, че половината от оригинални елементи изчезна. Но останалите неща са много редки експонати, представляващи елементи на ежедневния живот, така и уникални материали.

На 31 декември 1964 г. малък еврейски музей, открит в новострояща се сграда на Темпелгассе, но не получи почти никакъв общественото внимание. 3 години по-късно музеят вече са затворени.

Първата изложба на нов Еврейския музей на Виена и е открита на 7 март 1990 година във временни помещения в офисите на еврейската общност. Значителна част от изложбата е съставена от колекцията на Макс Бергера. През 1992 г. музеят се премества в сегашния си дом в двореца Эскелес на Доротеегассе. Откриването на музея се състоя само година по-късно, през 1993 година. Библиотеката е отворена за посетители от 1994 година.

От есента на 2011 година музеят отвори вратите си след пълен ремонт, като самата сграда, така и актуализиране на постоянна експозиция. След ремонт Еврейски музей посреща посетителите на нови осветителни инсталация, която е направена в съответствие с оригинала. Постоянните изложби в музея са разположени в три зони.