כאשרהגנרל אלנבי הבריטי נכנס לעיר העתיקה בשנת 1917 לאחר כיבושה על ידי האנגלים, הוא ירד מסוסו כאות כבוד והערצה אל העיר שאליה הוא נכנס.
השער נקרא בפי הערבים "באב אל חליל" כלומר שער הידיד שהוא כינויו של אברהם אבינו שהדרך היוצאת מן השער מובילה לעירו – חברון. בתקופה הצלבנית נקרא השער "שער דוד" על שם מגדל דוד הנמצא בסמוך אליו.
מעל השער כתובת המספרת מי בנה את השער ומתי, וזה לשונה:
"בשם אללה הרחמן והרחום ציוה בהקמת החומה המבורכת הזו אדוננו הסולטן העצום, מלך הרומאים (תושבי אסיה הקטנה) הערבים והפרסים, סולטן סולימן בן סלים חאן (המפואר), ינציח אללה מלכותו, בתאריך שנת 945 (המוסלמי) והיא שנת 1538/9 לספירת הנוצרים."
בשנת 1902 במלאת 25 שנה לשלטונו של הסולטן התורכי עבד אל חמיד, הוקם בשער יפו סביל ומגדל שעון שבנייתו הסתיימה בשנת 1907. (ראו מאמר "מגדל השעון בירושלים") גובה המגדל היה 13 מטרים. את השעונים במגדל יבאו מצרפת. השעון הוסר בתקופת המנדט בשנת 1922, שכן לפי דעתו של מושל ירושלים – סטורס, המגדל המודרני לא הלם את החומה העתיקה.
איזור השער היה הומה מאד בתקופת המנדט ולפניה. היו בו שוק, תחנת עגלות, בתי מלון, בנקים, בתי קפה, עסקים שונים וחנויות. בתקופה העותומאנית נסגר השער בלילה ונשאר רק פישפש קטן שדרכו יכלו להיכנס בעלי אמצעים. ליד השער בתקופה העותומאנית היה חאן קטן עבור אלה ש"נתקעו" מחוץ לשער בלילה. בשנת 1860 בעקבות לחץ רוסי, נפתח השער גם בלילה.