Sytuacja w dziedzinie edukacji religijnej ortodoksyjnych Żydów na początku XX wieku nie przedstawiała się najlepiej. Brakowało miejsc i nauczycieli, którzy mogliby prowadzić naukę, dlatego dostęp do studiowania Talmudu był utrudniony. W rezultacie brakowało wykształconych przywódców religijnych. Coraz bardziej zlaicyzowane społeczeństwo żydowskie niechętnie podejmowało studia religijne, niewiążące się z perspektywą dobrego zarobku. Pojawiły się szkoły świeckie, w których w ogóle nie nauczano religii.

W 1923 r. na światowym kongresie Żydów ortodoksyjnych w Wiedniu Majer Szapiro wystąpił z ideą wybudowania w Lublinie nowoczesnego gmachu jesziwy, gdzie zdobywanie wiedzy miało być wolne od trosk materialnych. Powstanie jesziwy umożliwiłoby naukę wszystkim zdolnym młodym Żydom i pozwoliło wykształcić z nich rabinackie elity. Wcześniej, prawdopodobnie późną jesienią 1922 r., rabin przybył z gotowym projektem uczelni do Lublina. Wtedy też spotkał się ze Szmuelem Ajchenbaumem, który podarował pod budowę uczelni plac o powierzchni 1 ha 1807 m kw. położony u zbiegu ul. Lubartowskiej i Unickiej.

Realizacja takiego przedsięwzięcia byłą jednak bardzo kosztowna. Gromadzenie funduszy na budowę uczelni zapoczątkował sam rabin, który przekazał na ten cel pieniądze odziedziczone i otrzymane od teściów i rodziców. Od 1924 r. zbierano datki w lubelskich domach, sklepach i warsztatach. To jednak nie wystarczyło, więc kontynuowano zbiórki w całej Polsce, a wkrótce i na całym świecie. W 1923 r. położono kamień węgielny pod nowy gmach, a wiosną 1930 r. zakończono budowę wspaniałego sześciokondygnacyjnego budynku uczelni o całkowitej kubaturze wynoszącej ponad 18 tysięcy m sześc., zaprojektowanego przez Agenora Smoluchowskiego. Był to jeden z najbardziej reprezentacyjnych gmachów powstałych w przedwojennej Polsce. Prowadziła do niego szeroka stylowa brama i plac z kwietnikami i rzędami drzew z rozległym ogrodem, licznymi drzewami, alejkami i ławkami na tyłach budynku. Na portyku umieszczono w języku hebrajskim napis: Pójdźcie synowie, słuchajcie się mnie! Nauczę was bojaźni Bożej!

Uroczyste otwarcie Jesziwy odbyło się 24 czerwca 1930 r.