המרחב הפנימי ביותר לא היה חדר ציבורי.

כהני שלמה הביאו את הארון אל החדר הפנימי ביותר, תחת כנפי הכרובים. הוא הכיל את שני לוחות האבן, ותו לא.

התורה מתארת שני כרובי זהב הפונים זה אל זה מעל כפורת הארון, ואת הבטחת ה׳ להיפגש עם משה ולדבר איתו מבין שניהם.

המסורת הרבנית מונה את הארון בין חמישה דברים שחסרו בבית שני. המשנה מתעדת מסורות על היכן נגנז; התלמוד מתעד מחלוקת אם נגנז או הוגלה.

במקומו עמדה אבן מימי הנביאים הראשונים, הנקראת שתייה, גבוהה שלוש אצבעות מן הקרקע. ביום כיפור הניח עליה הכהן הגדול את מחתת הקטורת.

רק הכהן הגדול, רק ביום כיפור, רק בשעת העבודה. הוא עבר בין שתי הפרוכות עם קטורת וגחלים, והחדר התמלא עשן. תפילתו בחוץ נעשתה קצרה, כדי שלא להבהיל את העם הממתין.

אף מקור שהאתר נשען עליו אינו אומר בוודאות שהארון יימצא או ישוחזר. ירמיהו אף צופה זמן שבו לא ידברו עליו ולא יפקדו אותו; פרשנים קוראים פסוק זה בדרכים שונות.

האתר אינו מציג לעולם את הארון, באף בית מקדש.