המסגד נבנה בשנת 1809/10 על ידי הממלוכ עלי אגא שהיה עושה דברו של סולימאן פחה, יורשו של אל ג'זאר. המסגד היה בתוך שכונה גדולה, שהשתרעה מצפון לו ועד החומה הצפונית. המסגד הוקם עבור תושבי הכפר מג'דל שעקרו לעכו, אך אין איש יודע בוודאות באיזה מן הכפרים הרבים בשם זה מדובר. המסגד הינו הצפון-מערבי ביותר מכל מסגדי העיר. ניתן להגיע אליו מרחוב נור א-דין אל-ישרוטי, הנמתח מערבית למסגד אל-ג'זאר.לפי אחת הסברות, תושבים ממג'דל כרום הם אשר בנו את המסגד. בספרו של אל-עורה (הביוגרף של סולימאן פחה) כתוב כי סולימאן חיפש אבנים גדולות לבנות המסגד. פועליו מצאו קיר עתיק בנוי אבנים מסותתות גדולות באתר הנקרא אל-קַרנִיף ומהן בנו המסגד. ולפי הידוע בימינו, ליד מג'דל כרום יש אתר בשם אל ע'רניפי. אך מכיוון שאל-עורה לא מזכיר את מג'דל כרום, יתכן והאבנים לבניית המסגד הן אבנים מן התקופה הצלבנית שנמצאו בסביבה הקרובה.
לפי סברה אחרת הגיעו לכאן אנשים ממג'דל-אשקלון.