חניון החרוב הוקם במסגרת התכנית לפיתוח יער ירושלים בתחילת שנות ה-60. הפרויקט דאז נקרא "רחבה", ומהותו הייתה בניית מכלול לנופש ופנאי עבור תושבי ירושלים בתוך היער.
חניון החרוב נמצא במורדות גבעת שאול (מתחת משרדי חברת החשמל) ונקרא על שם עץ חרוב עתיק מסועף ומרשים הגדל בתחום החניון.
עבודות הקמת החניון כללו שיקום מערך הטרסות והבוסתנים במקום, המאפיינים את החקלאות העתיקה באזור זה. הטרסות משמשות לטיפול במי הנגר העירוני והשהייתם להשקיית הבוסתנים. עוד נבנו מדרגות אבן, שולחנות פיקניק, מתקני מנגל, אזור מדורה וחניה, הותקן שילוט וניטעו עצי בוסתן.