تجهَّزَ المهدي لغزو الروم، فخرج وعسكرَ بالبردان، وجمع الأجناد من خراسان وغيرها، وسار عنها، وكان قد توفِّي عيسى بن علي بن عبد الله بن عباس في جمادى الآخرة، وسار المهدي من الغد، واستخلفَ على بغداد ابنَه موسى الهادي، واستصحَبَ معه ابنه هارون الرشيد، وسار على الموصِل والجزيرة، وعزل عنها عبد الصمد بن علي في مسيرِه ذلك، ولما حاذى قصرَ مسلمة بن عبد الملك، قال العباس بن محمد بن علي للمهدي: إنَّ لِمَسلمةَ بن عبد الملك في أعناقنا مِنَّة، كان محمد بن علي مَرَّ به، فأعطاه أربعةَ آلاف دينار، وقال له: إذا نَفِدَت فلا تحتَشِمْنا, فأحضر المهديُّ ولدَ مَسْلمة ومواليَه، وأمرَ لهم بعشرين ألفَ دينار، وأجرى عليهم الأرزاقَ، وعبَرَ الفُرات إلى حلب، وأرسل وهو بحلب فجَمَع مَن بتلك الناحية من الزَّنادقة، فجُمِعوا فقَتَلهم، وقطَّعَ كُتُبَهم بالسَّكاكين، وسار عنها مشيِّعًا لابنه هارون الرشيد، حتى جاز الدربَ وبلغ جيحان، فسار هارون، ومعه عيسى بن موسى، وعبد الملك بن صالح، والربيع، والحسن بن قحطبة، والحسن وسليمان ابنا برمك، ويحيى بن خالد بن برمك، وكان إليه أمرُ العَسكر، والنَّفَقات، والكتابة وغير ذلك، فساروا فنزلوا على حصنِ سمالوا، فحصره هارونُ ثمانية وثلاثين يومًا، ونصَبَ عليه المجانيقَ، ففتحه الله عليهم بالأمانِ، ووفى لهم، وفتحوا فتوحًا كثيرةً.