يقال إن مدينة رفراف كان قد أنشأها الأقدمون الذين انثالوا على هذه الأرض إنثيال السيل المنهمر تارة في موجات حضرية وطورا في هجمات بربرية لا تبقي ولا تذر. وقد عرفت رفراف في القديم بمدينة « Gastoconella ». 
وعندما قدم الرومان دمروها فيما دمروا من المدن، باعتبار أنها كانت من المدن الملعونة فلم يبق فيها غير أطلال دارسة هي عبارة عن مسلة سجلت عليها بعض القوانين القديمة وبعض المقابر والآثار الرومانية، هذا ما يعتقد البعض.. بينما يعتقد البعض الآخر من الرواة والمؤرخين أنها مدينة رومانية عدا عليها الزمان فيما عدا عليه من الآثار والمعالم بدليل وجود هذه المسلة بالذات، ووجود تلك الآثار التي تنسب الى الرومان.
  رفراف مدينة أندلسية فقد أكدت الدراسات التاريخية عمق التأثير الاندلسي في عدد من المدن التونسية لاسيما منها رفراف و راس الجبل وغار الملح فضلا عن الطابع المعماري لهذ الاحياء الذي لايزال قائما شاهدا على طبيعة التلاقح الحضاري الذي عرفته مثل هذه الجهات. 
وقد جاء في دراسة نشرت للباحث محمد صالح الوسلاتي بعنوان «بنزرت من خلال التزاوج الحضاري التونسي الاندلسي» ان الهجرة الرابعة في سنتي 1609 و1610 اهم هجرة للأندلسيين وقد قدم هؤلاء الى تونس بإعداد كبيرة قدرها بعض المؤرخين بثمانين الفا. وقد اختار أصحاب الحرف والفلاحون الأندلسيون من بين مناطق تمركزهم بالبلاد التونسية، مدن رفراف وغار الملح والعالية وراس الجبل ومنزل جميل ومنزل عبد الرحمان وماطر.. وقد اعاد هؤلاء حسب الباحثين احياء المدن والعمارة والفلاحة وتعميرها بثقافة اندلسية وبمعمار متميز. 
كما قدم هؤلاء وفق الباحث بالجامعة التونسية السيد «عماد صولة «عدة اضافات ادخلت على البيوت ولا تزال الى حد اليوم ومنها ايضا عادات اجتماعية واكلات مثل اكلة الحلالم ولباس ما يزال قائما منها الفراشية وزراعات منها زراعة البطاطا برفراف الى حد الساعة. فضلا عن عدة معالم واحياء اصطبغت بتسمية اندلسية. وقد جاء في كتاب بنزرت تاريخ وذاكرة انه بالمنطقة الشمالية الغربية يسكن حومة الاندلس كما يدل على ذلك اسمها سكان ينحدرون من المهاجرين الذين طردوا من اسبانيا. وبوصفهم عملة ممتازين فقد وفروا للمدينة أحسن بساتينها وثلة من الخزافين وصانعي الاسلحة وصغار الحرفيين.