Awalnya, KH Agus Salim bekerja sebagai penerjemah dan kemudian pembantu notaris. Sesudahnya, ia merantau ke Indragiri dan Riau hingga akhirnya ke Jeddah, Arab Saudi.

Di Arab, KH Agus Salim mempelajari Islam secara mendalam sambil bekerja di kantor konsulat Belanda untuk memenuhi keinginan orang tuanya yang kerap mendesaknya menjadi pegawai negeri. Kesempatan itu ia manfaatkan untuk mempelajari seluk-beluk diplomasi internasional yang akan sangat berguna baginya.

KH Agus Salim meletakkan arti Islam sebagai pandangan hidup setiap pribadi muslim yang sadar akan tugas serta kewajibannya di tengah masyarakat. Sebagai hasil ijtihad, yang dipeloporinya, maka pandangannya terhadap berbagai masalah agama bercorak tersendiri.

KH Agus Salim menyelidiki Al-Qur'an dan mengadakan perbandingan ajaran-ajaran Islam dengan kemajuan-kemajuan yang dicapai dunia Barat. Akhirnya, ia membuat kesimpulan bahwa kemunduran umat Islam pada kala itu karena salah menafsirkan ajaran Islam.