בתקופה האחרונה נחלש ראש הישיבה. ביום כיפור האחרון התמוטט באמצע התפילה ומאז מצבו ידע עליות ומורדות, ביום שלישי האחרון הוא פונה מביתו בגבעת מרדכי בירושלים לבית החולים, והבוקר השיב את נשמתו ליוצרה.
הגר''מ גולדשטיין זצ''ל נולד בארצות הברית. כבר בגיל 20 חיבר את ספרו 'אמרי מרדכי' על הש״ס. בצעירותו למד בישיבת סלנט, ובהמשך נמנה על תלמידיו הראשונים של הגר''א קוטלר זצ''ל ראש ישיבת לייקווד, שהיום חל יום היארצייט החמישים וארבע לפטירתו.
הגר''מ גולדשטיין זצ''ל אף נפגש עם הגאון רבי אלחנן וסרמן הי''ד ובראיון ל'בחדרי חרדים' סיפר בעבר - ''כשנפגשתי איתו שאלתי למה כבודו חוזר לאירופה למלחמה ולסכנה? והוא השיב לי כך 'בדרך שאדם רוצה לילך מוליכים אותו', ועוד הוא אמר לי: דבר שמלווה אותי תמיד בהנהגת הישיבה, שכל אחד צריך לעשות את חובתו בעולמו, וחובתי לדאוג לתלמידים ולא לנטוש אותם גם כשמדובר בזמן סכנה ומלחמה, וזה מה שמחזק אותי עד היום''.
בשנת 1967 הקים את ישיבת התפוצות, בתחילה הוקמה הישיבה בעזרת הנשים של ישיבת חברון בשכונת גאולה בירושלים, ולאחר חודשים ספורים התרחבה הישיבה והיא עברה לבית היתומים דיסקין בשכונת גבעת שאול בעיר, ולבסוף עברה ליד העיר העתיקה.
ישיבת התפוצות הנקראת ''הר ציון'', שוכנת מול קבר דוד המלך ברובע היהודי. בשל מיקומה חפצה הכנסיה לקיים 'מיסה' בחדרי הישיבה. בעבר הציע הותיקן לא פחות מ-40 מיליון דולר עבור רכישת שני חדרים בישיבה, אך לאחר שפנה לקבל את הכרעתו של הגרי''ש אלישיב זצ''ל, הוא ענה בתקיפות - ״אין למכור או להשכיר אפילו חצי חדר לנוצרים, זו עבודה זרה״.
הדבר שמאפיין את הישיבה הוא האחדות, שישיבת התפוצות מאחדת את כל עם ישראל, את כל הסוגים והמינים, ספרדים ואשכנזים, בחורי ישיבות וחוזרים בתשובה, אברכים ואפילו מגורשי גוש קטיף.
במשך עשרות שנים הרביץ תורה ויראה בקרב תלמידיו. אחד הדברים המיוחדים בישיבה היה שהרב גולדשטיין היה מבקש מהתלמידים להכנס לשיעורים עם עט ודף, והיה דורש מהם לכתוב את השיעורים ולהשקיע בכתיבה.
ראש הישיבה זצ''ל הותיר אחריו דור ישרים מבורך. בנו הרב אברהם גולדשטיין הוכתר למלא את מקומו בראשות הישיבה.
מסע הלוויה יצא ביום שישי ערב שבת קודש פרשת תולדות בשעה 13:45 מהישיבה בהר ציון להר הזיתים שם נטמן. תהא נשמתו צרורה בצרור החיים.