Nama Abu Bakar Ba'asyir tentu tak asing bagi orang-orang yang berkecimpung di dunia Islam, politik, dan hukum. Besarnya pengaruh beliau di negara ini tidak bisa dipungkiri lagi, walaupun cenderung pada arah yang negatif. Berbagai badan intelijen serta PBB yang mengklaim bahwa beliau adalah pemimpin Jamaah Islamiyah (JI), suatu aliran agama Islam yang sangat liberal dan memiliki hubungan dengan Al-Qaeda, yang disinyalir merupakan penanggung jawab berbagai aksi terorisme berbasis agama Islam.
Menerima tuduhan,diadili, dan menjadi buronan sepertinya bukan hal yang aneh bagi pria keturunan Arab ini. Tahun 1983, Abu Bakar Ba'asyir ditangkap bersama dengan Abdullah Sungkar oleh pemerintah Orde Baru karena asas tunggal Pancasila dan melarang santrinya melakukan hormat bendera karena hal itu termasuk perbuatan syirik. Keduanya pun divonis 9 tahun penjara. Namun pada tahun 1985, kedua tokoh itu melarikan diri ke Malaysia saat mereka dikenai tahanan rumah. Di Malaysia, pada tahun 1985 sampai 1999 aktivitas beliau hanya berdakwah menurut ajaran Al Quran dan Hadits setiap sebulan sekali dalam sebuah forum tanpa organisasi. Tetapi pemerintah Amerika Serikat memasukkan nama Ba'asyir sebagai salah satu teroris karena keterkaitannya dengan jaringan Al-Qaeda.
Sekembalinya dari Malaysia, Ba'asyir langsung aktif di Majelis Mujahidin Indonesia (MMI) yang merupakan salah satu dari Organisasi Islam baru yang bergaris keras dengan tujuan menegakkan Syariah Islam di Indonesia. Pada bulan Februari 2002, Menteri Senior Singapura, Lee Kuan Yew, menyatakan bahwa Indonesia, terutama kota Solo sebagai sarang teroris dengan salah satu pentolannya adalah Abu Bakar Ba'asyir.
Pada tanggal 19 April 2002, Abu Bakar Ba'asyir menolak eksekusi atas putusan Mahkamah Agung (MA) untuk menjalani hukuman pidana selama 9 tahun atas dirinya dalam kasus penolakannya terhadap Pancasila sebagai asas tunggal pada tahun 1982 karena menganggap Amerika Serikat mendalangi eksekusi yang sudah kadaluwarsa itu. Kemudian pada bulan April 2002, beliau meminta perlindungan hukum kepada pemerintah atas dasar putusan kasasi MA tahun 1985, sebab dasar hukum untuk penghukuman Ba'asyir, yaitu UU Nomor 11/PNPS/1963 mengenai Pemberantasan Tindak Pidana Subversi sudah tidak berlaku lagi dan pemerintah pun sudah memberi amnesti serta abolisi kepada tahanan dan narapidana politik dari masa itu. 8 Mei 2002, Kejaksaan Agung membatalkan rencana eksekusi terhadap Abu Bakar Ba'asyir. Sebaliknya, Kejagung menyarankan kepada Kepala Kejaksaan Negeri Sukoharjo (Jawa Tengah) untuk meminta amnesti bagi Ba'asyir kepada Presiden Megawati Soekarnoputri.
8 Agustus 2002, Majelis Mujahidin Indonesia mengadakan kongres I di Yogyakarta untuk membentuk struktur kepemimpinan di mana Ustadz Abu Bakar Ba'asyir dipilih sebagai ketua Mujahidin sementara. Setelah sekian lama, pada akhir tahun 2002 akhirnya beliau kembali ke pesantren Ngruki untuk mengajar. Tapi kabar kontroversial kembali menyeruak kala pada bulan September 2002 Majalah TIME menulis berita dengan judul "Confessions of an Al Qaeda Terrorist" di mana ditulis bahwa Abu Bakar Ba'asyir disebut-sebut sebagai perencana pemboman di Mesjid Istiqlal. TIME mendasarkan tulisan pada dokumen CIA, dan pengakuan Umar Al-Faruq, seorang pemuda warga Yaman berusia 31 tahun yang ditangkap di Bogor pada Juni 2002. Seluruh isi artikel tersebut disangkal oleh Abu Bakar Ba'asyir. Oktober 2002, Abu Bakar Ba'asyir mengadukan Majalah TIME, menurutnya berita itu masuk dalam trial by the press dan berakibat pada pencemaran nama baiknya. Proses hukum dan usaha penjelasan pada masyarakat mengenai kasus ini berlangsung sepanjang tahun 2002.
18 Oktober 2002, Ba'asyir ditetapkan tersangka oleh Kepolisian RI sebagai salah seorang tersangka pelaku pengeboman di Bali. Kemudian tanggal 3 Maret 2005 Ba'asyir dinyatakan bersalah dan dihukum 2,5 tahun penjara atas konspirasi serangan bom Bali 2002, tetapi tidak bersalah atas tuduhan terkait dengan bom 2003.
17 Agustus 2005, masa tahanannya dikurangi 4 bulan 15 hari hingga akhirnya bebas pada 14 Juni 2006. Tapi pada tanggal 9 Agustus 2010 Abu Bakar Ba'asyir kembali ditahan oleh Kepolisian RI di Banjar Patroman atas tuduhan membentuk satu cabang Al-Qaeda di Aceh.
Ba'asyir akhirnya dijatuhi hukuman penjara 15 tahun pada 16 Juni 2011 oleh majelis hakim Pengadilan Negeri Jakarta Selatan setelah dinyatakan terlibat dalam pendanaan latihan teroris di Aceh dan mendukung terorisme di Indonesia.