Църквата на Всички Светии - е един от ценните образци на безбашенных барокови църкви, принадлежащи към римо-католическата концесия. Влиза в ансамбъл новициата (място за тези посветени) и кармелитского манастир в стария град.

Построена църквата заедно с манастира в продължение на 11 години с 1620 по 1631 година около Рудницких порта. По време на военните действия на Москва храм гореше и при реконструкция в 1655 г., е по същество възстановен. По-късно, през 1743 г., около северо-източния ъгъл на място на кули, е построен сложна форма камбанария в тиле на късния барок. През 1812 г. храма е претърпял значителен ущърб на наполеоновскими войници, сжегшими исповедальни и пейки. Французите приемат в храма на болницата. Ремонтирана и обновена църква е през 1823 година.

Руските власти упразднили манастир, и от 1885 г. в помещенията на манастира са подредени сладко апартамент, а от 1948 затвори и църква, организиране на него склад за хранителни стоки.

От 1967 до 1975 години в храма са извършени възстановителни работи под ръководството на архитект Алдоны Швабаускене. След реставрация на храма е действал като Музей на Литва фолклорни изкуства. Реституция на храма се проведе веднага след промяна на държавния ред, през 1990 г. храмът е върнат на вярващите и действа до ден днешен.

План за изграждане на църква има формата на латински кръст, с форма на храм – трикорабна базиликального тип. Особеностите на пространството във вътрешността на храма в това, че страничните нефы образовани страничните параклиси църква. Странични нефы 3 пъти вече и 2 пъти по-ниска от централната, отделени от него две двойки стълбове от всяка страна. Трезорите нефов – цилиндрични с люнетами.

Главната фасада е с архитектура форми на ранен барок, фасадата е разделена на две нива стряхата, пиластри отделят неговата вертикална ос. Слага край на фасадата на фронтон с триъгълна форма, с высящимися от двете страни обелисками. Портал в стил ренесанс подчертава централната ос на сградата. В ниши по-рано са били инсталирани статуи родоначальников кармелитского монашество – Св. Илия и св. Елисей, изработени от дърво.

Монументалната четырехъярусная камбанария, расширяющаяся надолу, завършва каска и ажурным кръст. Пиластри на по-ниско ниво, на фаянс и да предполагам, като ярък контраст с вградени колони в ъглите. Коринфские пиластри втория ешелон са лепным мотив. В третия ешелон разположени диагонално на странични пиластри с колони. В последния, четвърти ред пиластри как ще растат от волют.

Прозорци, ниши камбанарията са с различна арочную форма и са декорирани с гипсови орнаменти, а в четвъртото ниво ниша все още е ограден с декоративна решетка на балкона. Предполага се, че камбанарията на изграждане на същия архитект, че построи кула кармелитского църква в Беларус.

Стени и сводове нефов на храма, на купола на страничните параклиси са украсени с фрески и орнаменти, в стенописи са изобразени сюжети от живота на светиите и от историята на Литва. Декоративна гипс, украшающая вътрешното пространство на храма е изпълнена в края на 18 век. В костеле 18 олтара, декорирани със скулптури на светци, изрисувани и изобразяващи сюжети от живота им. Главният олтар е издигнат вероятно в края на 1780-те години, по проект на Мартин Канфуса.

По време на възстановителните работи, извършвани през 1902 година, по инициатива на свещеник Чудовского, стенописите са боядисани, в момента е отворена само една малка част от тях.