בג' בכסלו תשכ"ט התיישבה קבוצת תלמידים בראשות הרב יהודה עמיטל זצ"ל במשכנה הזמני בצריפי קיבוץ כפר עציון.
במהלך זה ביקשו יוזמיו, משה (מושקו) מושקוביץ ז"ל והרב חנן פורת ז"ל, לבנות אנדרטה חיה ונושמת לזכרם של נופלי גוש עציון במלחמת השחרור; מפעל תורני שמטרתו להוביל את הפרחת גוש עציון המתחדש.
כשנה וחצי אחרי הקמת הישיבה, בסיוון תש"ל, עלה לקרקע ממש מול האלון הבודד – סמלו של גוש עציון – המרכז האזורי הקהילתי אלון שבות, והישיבה הכתה שורש ביישוב המתהווה והייתה לגרעין שסביבו התפתח היישוב. לאחר המעבר לאלון שבות ביקש הרב עמיטל לצרף לראשות הישיבה את הרב אהרן ליכטנשטיין, ושניהם עמדו בראשה כארבעים שנה.
לאורך השנים העמידה הישיבה אלפי תלמידים ובוגרים בארץ ובחו"ל, ובהם מאות ראשי ישיבות, רבנים ואנשי חינוך, וכולם ממשיכים ללמד את תורתה ולהפיצה. כיום מכהנים בראשות הישיבה הרב יעקב מדן, הרב ברוך גיגי והרב משה ליכטנשטיין.
כבר מימיה הראשונים הובילה הישיבה מהפכות בעולם התורה הדתי-לאומי: מהפכה בהתיישבות, מהפכה בשיטת הלימוד, מהפכה בתחומי העיסוק התורניים ומהפכה בשילוב הלימודים בישיבה עם שירות צבאי משמעותי במסגרת ה'הסדר'.
מוסדות הישיבה ושלוחותיה רבו וגדלו עם השנים: באלול תשנ"ז הקימה הרבנית אסתי רוזנברג את בית המדרש לנשים במגדל עוז, ונשים צעירות ובוגרות לומדות בו
בתוכניות לימוד מגוונות. גם המכללה האקדמית הרצוג הוקמה ביוזמת הישיבה כמכון קטן להכשרת מורים, והתפתחה עם השנים למוסד אקדמי עצמאי מפואר, הגדול מסוגו בישראל. אלפי תלמידים לומדים במכללה בשלושה קמפוסים במגוון מסלולים ותוכניות לימוד.