בשל קרבתו לירושלים ובשל הסלע הרך הנמצא בו שימש ההר כבית קברות מרכזי של ירושלים החל מהתקופה הכנענית ועד ימינו אנו.

כשדוד ברח מאבשלום מסופר במאמר מוסגר שכאשר דוד היה עולה במעלה הזיתים, הוא היה משתחווה לא-לוהים (שמואל ב' טו,כג-לב).

הנביא זכריה התנבא שלעתיד לבוא שרגלי הקב"ה יעמדו על הר הזיתים במלחמתו בגויים, והר הזיתים יבקע לשניים (זכריה יד, ג-ד).

בימי הבית השני הר הזיתים היה מחובר בכבש אל הר הבית עליו עבר השעיר לעזאזל ביום הכיפורים  ושם היו שורפים את הפרה האדומה (משנה פרה ג,ו).

בשל קרבתו להר הבית ובשל נבואת זכריה התפתחה מסורת קדושה להר. בתקופת הגאונים נהג עם ישראל להתכנס בהושענא רבה לתפילה וללמוד. בתקופות מאוחרות יותר הקבורה בהר הזיתים נחשבה לזכות גדולה.