Hajar Aswad hilang karena dicuri. Pencurian hajar Aswad dilakukan oleh kelompok syiah bernama Qarmatian yang kala itu dipimpin oleh Abu Tahir Al Qarmuthi.
Tepatnya pada tahun 317 Hijriah atau 930 Masehi, Abu Tahir dan kelompok Qarmatian yang telah berniat mencuri hajar Aswad awalnya datang dari Bahrain menuju Makkah saat sebelum waktu pelaksanaan haji.
Setibanya di Makkah, penduduk Makkah menolak mentah-mentah kedatangan Abu Tahir dan pengikutnya. Diceritakan dalam buku Jejak Sejarah di Dua Tanah Haram karya Mansya Aji Putra, kelompok Qarmatian pun membuat tipu muslihat dengan mengucapkan sumpah palsu untuk memasuki Makkah dengan damai.
Bahkan mereka berpura-pura menunaikan haji agar dibolehkan masuk ke Makkah. Kala itu, Abu Tahir membawa sekitar 600 penunggang kuda dan 900 pasukan berjalan, dikutip situs Archyde.
Mereka pun mengingkari sumpah tersebut dan tak lama kemudian, kelompok Qarmatian berhasil mengambil alih Kota Makkah. Abu Tahir dengan segera memerintahkan Ja'far bin Ilaj untuk mengambil hajar Aswad dari tempatnya secara paksa.
