بعد أن فشلت محاولة المسلمين منع سقوط أسفي بيد البرتغاليين خرجوا منها سنة 910 بشرط الأمان ثم زحفوا إليها بعد ثلاث سنين من أخذها ووقع بينهم وبين البرتغال حرب شديدة كانت صفوف المسلمين تترادف فيها كأمواج البحر، وقتل قواد عسكر البرتغال وكبارهم ثم قَدِمت عليهم شكوادره من مادرة بالعسكر والزاد، فقويت نفوس البرتغال، وارتحل المسلمون عنها بعد أن أشرفوا على الفتح، وتبعهم البرتغال لينتهزوا فيهم الفرصة، فكرَّ المسلمون عليهم واستَلَبوهم، وهذا أول حصار كان على أسفي, ثم بعد سنين قلائل زحف المسلمون إليها أيضًا ومعهم عدد من المدافع وقاتلوا قتالًا صعبًا وزحفوا إلى السور فهدموا منه ثلمة كبيرة، واشتدَّ القتال عليها بما خرج عن العادة، ثم رحل المسلمون من غير فتح وأعرضوا عنها مدة لم يحدِّثوا أنفسهم بالقتال، وعمرت أسفي بالنصارى وانتقل إليها التجار وبنوا بها الدور وكانوا يسقون منها الحب ويحملونه في السفن إلى بلادهم، ولعل ذلك لهدنة كانت لهم مع المسلمين