Пещерата Гелерт е част от мрежата от пещери в хълма Гелерт. Пещерата се нарича "пещерата на Св. Йоана", по името на отшелника, жившего там, и се смята, использовавшего естествени минерални води на езерото, в непосредствена близост до пещерата, за изцеление на болните. Това е вероятно, че това е една и съща вода, че попадат в басейни, бани Гелерт.

През 19-ти век пещерата е убежище на бедно семейство, което, доколкото е в състояние, обустроила физическо жилище. Входът на пещерата е затворен. Илюстрация на този период от историята може да се види на снимката Михая Майра, датированную 1860-те години и на снимки Дьердя Клеша 1877 година.

През 1920-те години група от монаси, вдъхновена от по време на поклонение каменни съоръжения на Лурд във Франция, обустроила пещерата си и переделала вход. От 1926 до 1951 година, пещера служи като параклис и дори манастир. По време на Втората световна война тук се заселват в полевата болница на германската армия. През 1945 г. Червената армия освободила Варшава. В продължение на шест години пещерата продължава да изпълняват религиозните си функции, но в 1951 г. в рамките на печалба от репресии, насочени срещу католическата църква, органи за сигурност са извършили претърсвания в параклиса. Пещерата е замурована, брат на Радиосмущения Везер осъден на смърт, монасите – на затвор за срок до десет години.

Параклисът е отворен отново на 27 август 1989 година – дебела бетонна стена, обхващащи вход, е била разрушена. До 1992 г. параклисът е възстановен и приведени в ред. В момента в пещерата се провеждат услуга, независимо от факта, че тя е туристическа атракция.