Raden Rahmat juga diangkat menjadi imam Masjid Surabaya oleh pejabat Pecat Tandha di Terung bernawa Arya Sena. Atas dasar hubungan baik dengan Raja Majapahit, Raden Rahmat diizinkan tinggal di Ampel beserta keluarga-keluarga yang diserahkan oleh Raja Majapahit.

Dalam perjalanan menuju Ampel, Raden Rahmat melewati daerah Pari, Kriyan, Wonokromo, dan Kembang Kuning yang merupakan wilayah hutan. Di sana, Raden Rahmat dipertemukan dengan Ki Wiryo Saroyo yang dikenal sebagai Ki Bang Kuning atau Mbah Karimah yang akhirnya menjadi pengikut Raden Rahmat.

Raden Rahmat pun menikahi putri Ki Bang Kuning yang bernama Mas Karimah. Dari pernikahan itu lahirlah dua orang putri bernama Mas Murtosiyah dan Mas Murtosimah. Selama menetap di kediaman Ki Bang Kuning, Raden Rahmat berpartisipasi dalam upaya menyebarkan dakwah keislaman di sekitar tempat tinggalnya, terutama melalui masjid yang dibangun.

Menurut Serat Walisana, Raja Majapahit tidak langsung mengangkat Raden Rahmat di Ampeldenta. Melainkan menyerahkannya kepada Adipati Surabaya bawahannya bernama Arya Lembu Sura yang beragama Islam.