Kemudian, antara tahun 1918-1924 ia mengembara mencari ilmu agama di pondok pesantren, meskipun beberapa literatur belum bisa menemukan data pesantren yang pernah ia tinggali. 

Namun dikutip dari Muhammadiyah.or.id, KH Fakih Usman meninggalkan kampung halamannya, merantau mencari ilmu di luar kota Gresik. Ia juga banyak menguasai buku-buku yang diajarkan di pesantren-pesantren tradisional, karena penguasaannya dalam bahasa Arab. 

Ia juga terbiasa membaca surat kabar dan majalah berbahasa Arab, terutama dari Mesir yang berisi tentang pergerakan kemerdekaan. Apalagi, pada penghujung abad 19 dan awal abad 20 itu di dunia Islam pada umumnya sedang terjadi gerakan kebangkitan.