Pesepak bola kelahiran 1982 ini memulai karir klub profesionalnya di Perseman Manokwari pada 2004. Hanya setahun berada di klub tersebut, Rumere memutuskan pindah ke Persipura Jayapura. Bersama klub baru tersebut, pemain yang juga lahir di kota yang sama, Jayapura, berusaha dan berlatih keras agar terpilih masuk skuad inti dan bisa berpartisipasi di berbagai turnamen sepak bola di Indonesia. Pada musim 2007 - 2008, Rumere berkesempatan bermain dalam tim inti Persipura Jayapura dan dipercaya turun dalam 29 kali pertandingan dengan sumbangan 2 gol bagi timnya di sepanjang musim. Ismail Paulo Rumere resmi tercatat membela tim Persipura Jayapura selama kurang lebih 4 musim kompetisi. Sepanjang karirnya tersebut, Rumere sering mengejutkan penonton dengan tembakan gol yang mampu memutar balik keadaan. Pada laga lanjutan LSI 2009 - 2010 saat laga melawan Sriwijaya FC contohnya, pendukung tim Persipura yang menonton pertandingan di Stadiun Mandala Jayapura sempat menerima kejutan manis dari pemain berkulit gelap ini. Saat itu kedudukan kedua tim imbang 1-1 hingga menjelang tiga menit pertandingan berakhir. Dan Rumere berhasil menerobos pertahanan Sriwijaya, menyarangkan gol, dan membukukan kemenangan bagi tim dan rekannya dengan skor 2-1. Musim sebelumnya, Ismail Rumere juga mampu membalik keadaan saat gol cepat lahir dari tendangannya dan membawa Persipura unggul atas Persib Bandung kompetisi lanjutan Liga Super Indonesia 2008. Awal musim 2010, Rumere meninggalkan klub Persipura Jayapura dan pindah ke klub PSBS Biak. Sayangnya, karir sepak bola Rumere justru merosot tajam. Sempat beberapa kali tidak diturunkan dalam pertandingan, namanya akhirnya dicoret dari daftar pemain karena performa yang tidak kunjung membaik. Atas pencoretan ini, pihak manajemen PSBS Biak menyatakan bahwa Rumere, dan 5 pemain asal Jayapura lain, dicoret karena belum mampu memberikan kontribusi yang maksimal kepada tim di sepanjang putaran pertama kompetisi.