Beliau wafat pada tahun 1925 saat berusia 106 tahun yang bertepatan dengan 29 Ramadhan 1341 Hijriah. Lokasi makamnya terletak di Desa Martajasah, kabupaten Bangkalan, Madura, Jawa Timur. Di lokasi makam Syaikhona Kholil terdapat sebuah masjid yang sengaja dibangun untuk simbol penghormatan kepada beliau. Masjid ini pada awalnya merupakan sebuah pesantren yang kemudian dibangun menjadi lebih besar lagi karena banyaknya peziarah. Masjid ini memiliki gaya arsitektur yang indah. Terdapat banyak sekali ornamen kaligrafi dengan sentuhan emas yang menghiasi dinding masjid ini.

Tak heran rasanya jika Makam Syaikhona Kholil tidak pernah sepi pengunjung. Pasalnya, makam ini memiliki daya tariknya sendiri. Seperti:

Terdapat makam ayah dari Syaikhona Kholil yakni Abdul Latif.

Terdapat makam anggota keraton.

Terdapat makam Waliyullah.

Terdapat sumur tua yang dipercaya dapat mendatangkan rezeki besar apabila kita melempar koin ke dalamnya.

Terdapat Masjid Syaikhona Muhammad Kholil yang memiliki arsitektur indah dengan plafon yang mengikuti bentuk kubah.