Кладбище было основано в начале 15 века почти в самом центре Еврейского города. Однако это не было самое древнее место погребения пражских евреев. Органиченная площадь кладбища очень скоро стала недостаточной. Так как еврейская религиозная традиция запрещает нарушать покой умерших, на кладбище привозились все новые и новые слои земли. Таким образом на некоторых местах кладбища оказалось двенадцать погребальных слоев.

Старые надгробия при насыпании нового слоя вынимались и помещались на поверхности нового слоя, вследствие чего возникло характерное нагромождение каменных стел. В настоящее время на кладбище находится почти 12 ООО каменных надгробий различного возраста, начиная с 1439 года и кончая 1787 годом, когда было запрещено хоронить внутри населенных частей города. С начала 18 века надгробия стали украшать различными символами и знаками, которые чаще всего обозначали происхождение, имя или профессию умершего.

Саркофаг над могилой Иегуды бен Безалела, которого называли Раввин Лёв (1512-1609) В начале 17 века над могилами выдающихся лиц стали воздвигать большие четырехгранные саркофаги. Это было вызвано тем, что на большей площади камня можно было поместить более обширный текст, повествующий о больших и добрых делах умершего. Деятельность раввина Лёва в Праге длилась 36 лет. Сначала он возглавлял школу, где изучался Талмуд, а потом был главным раввином. Здесь была издана большая часть из пятнадцати его произведений философско-религиозного характера. С ним связан целый ряд легенд, самая известная из них - легенда о сотворении искусственного человека Голема.