Kemudian, ia bergabung dengan perkumpulan Orkes Lief Java sebagai pemain gitar, saxophone, dan harmonium pompa pada 1936.

Ismail Marzuki juga aktif berkarya pada masa pendudukan Jepang.

Ia tergabung dalam Orkes Radio di radio publik Hozo Kanri Keyku, yaitu radio militer Jepang.

Setelah masa pendudukan Jepang, Ismail Marzuki tetap berkarier di Radio Republik Indonesia (RRI).

Namun, ketika Belanda hendak menguasai Indonesia kembali, ia memutuskan keluar dari RRI.

Perjuangan rakyat Indonesia berhasil merebut RRI dari Belanda dan Ismail Marzuki kembali bergabung dengan RRI.

Ia berhasil menciptakan lagu untuk Pemilihan Umum yang diperdengarkan pertama kali dalam Pemilu 1955.