Walau sudah ada sejak abad 16-17, hingga kini belum diketahui secara pasti dari mana asal es gempol. Ada yang menyebut, es gempol berasal dari Jepara. Diketahui es gempol dengan mudah ditemukan di jalan-jalan di Jepara.
Tetapi ada juga yang menyebut minuman ini berasal dari wilayah Solo Raya, tepatnya di Sukoharjo. Hal ini diungkap Kepala Desa Karangwuni, Kecamatan Polokarto, Sukoharjo, Ateng Hartono.
Dia menjelaskan kalau pada 1970-an, banyak warga Desa Karangwuni merantau ke Semarang untuk berdagang es gempol pleret. Sehingga banyak juga warga sekitar yang belajar dari pedagang itu.
“Awalnya itu jualan di desa. Lalu ada yang merantau hingga ke Semarang dan jualan di sana,” ujar Ateng.