ד”ר משה וולך, שנשלח לירושלים מטעם ועד יהודי פרנקפורט, הקים את בית החולים בסיוע יהודי גרמניה. על התכנון הופקד האדריכל הגרמני תיאודור סנדלר, שיצר בניין מרכזי בן שתי קומות, לצדו שני מבנים נוספים, האחד למגורי אחיות והשני לבידוד חולים. למתחם שער כניסה מרשים, מעוטר משקוף אבן, עם דלתות עץ מגולף וסורג מסוגנן שעליו תאריך חנוכת הבניין (תרס”א – 1901). בית החולים נחנך בטקס חגיגי שנה לאחר מכן, במעמד הפשה הטורקי, הקונסול הגרמני, האדריכל סנדלר ונכבדי ירושלים, והיה המתקדם בארץ בזמנו, אבל סבל ממחסור בכוח אדם מקצועי.

שתי האחיות שהגיעו מהולנד עזבו ב-1914 , עם פרוץ מלחמת העולם הראשונה, ובימי המלחמה נפסקה גם תמיכת יהודי גרמניה. ד”ר וולך נאלץ למצוא מימון לבית החולים ואף רכש פרות כדי לספק לחולים חלב ובשר. ב-1916 קיבל את הסיוע שציפה לו, עם הגעתה של האחות היהודייה זלמה מאייר מהמבורג. מאייר הנהיגה בבית החולים את שיטות העבודה של גרמניה והתגוררה במקום, כמו ד”ר וולך, עד אחרון ימיה. בין השאר, הקימה ב 1934- את בית הספר לאחיות וסללה את הדרך להתפתחות תחום הסיעוד בישראל. בימי מלחמת העולם השנייה החמיר מצב בית החולים.

למרות זאת, מילא שערי צדק תפקיד חשוב במלחמת העצמאות, כשהגיש עזרה לנפגעי הקרבות באזור ירושלים ובשנים שלאחר קום המדינה ולמעשה עד 1980 , אז עבר למשכנו החדש סמוך להר הרצל. בשנת 1994 שופץ הבניין ושומר על ידי רשות השידור שקבעה את משכנה במקום.