Abu Ayyub saat itu diminta untuk ikut dalam pasukan Yazid bin Muawiyah. Namun ketika pasukan Muslim  mendekati Konstantinopel, Abu Ayyub jatuh sakit dan tidak dapat melanjutkan perjalanan dan pertempuran.

Menurut buku 'Sejarah Negara Umayyah' karangan Inas Al-Bahiji, Yazid mendatanginya dan bertanya kepada Abu Ayyub soal apa yang dibutuhkannya. Abu Ayyub menjawab, "Jika aku mati, gendong aku, dan jika kamu berjabat tangan dengan musuh, lempar aku di bawah kakimu." Artinya, dia ingin para prajurit membawanya sejauh yang mereka bisa dalam ke dalam pertempuran, dan menguburkannya di tempat pertempuran. 

 

 

 

Para sejarawan belum menyepakati tahun pasti di mana Abu Ayyub meninggal. Beberapa dari mereka mengatakan bahwa dia meninggal pada 670, pada saat pengepungan Konstantinopel, dan beberapa dari mereka mengatakan bahwa dia meninggal pada 672.