Pendapat tentang saat di usia berapa dia wafat pun berbeda-beda. Banyak catatan sejarah menyebut, dia meninggal pada usia 97 dan dimakamkan di dekat tembok Konstantinopel.

Umat Islam tidak dapat menaklukkan Konstantinopel sampai sekitar 785 tahun setelah penaklukan tersebut, saat Kesultanan Ottoman atau Turki Utsmani ada di tangan Sultan Muhammad al-Fatih, pada 29 Mei 1453. Dari sini dimulailah kisah tentang Abu Ayyub al-Anshari dengan Ottoman.

Banyak orang kemudian memuji Abu Ayyub dan menganggap keberadaannya merupakan desakan untuk menaklukkan Istanbul. Kesultanan Turki Utsmani mengetahui kisah kedatangan Abu Ayyub dan keinginannya untuk berpartisipasi dalam penaklukan Konstantinopel meski sudah tua dan sakit.

Ini pula yang memberi mereka semangat dalam pertempuran, dan tentara Turki Utsmani saat itu menganggap Abu Ayyub sebagai contoh.

Lalu, selama pengepungan kota pada 1453 di bawah kepemimpinan Muhammad al-Fatih, Syekh Aq Shams al-Din, guru dan pendidik Muhammad al-Fatih yang dianggap  Turki sebagai penakluk moral Konstantinopel, menemukan makam Abu Ayyub Al-Ansari yang selama ini dianggap hilang tidak diketahui keberadaannya. 

Sebelum tentara Ottoman berkumpul untuk mengepung Istanbul, Syekh Aq Shams mengaku didatangi Abu Ayyub lewat mimpi dan memberitahu lokasi makamnya di tembok Konstantinopel.