Alimin adalah sosok yang aktif dalam pergerakan nasional sejak muda, ia pernah menjadi anggota Budi Utomo, Insulinde dan juga salah seorang pendiri Serikat Buruh Pelabuhan (dulu namanya Sarekat Pegawai Pelabuhan dan Lautan). Alimin Prawirodirdjo juga menjadi tokoh yang berpengaruh dalam Serikat Islam yang dirintis oleh Haji Samanhudi di Surakarta pada tahun 1905 dengan nama Serikat Dagang Islam. Sebagai satu-satunya gerakan massa yang terkuat, SI menjadi target operasi ISDV (Indische Sociaal Democratische Vereeniging / Organisasi Demokrat Hindia Belanda) untuk dapat mengusai massa dan menyebarkan paham marxisme dalam politik Indonesia, terlebih setelah kemenangan Revolusi Oktober di Rusia pada tahun 1917. Tanggal 23 Mei 1920 ISDV berubah menjadi PKI Partai Komunis Indonesia / Partij der Kommunisten in Indie . Alimin bergabung dengan SI Merah yang berasas sosialis komunis pada saat SI pecah menjadi 2, "SI Putih" yang dipimpin oleh HOS Tjokroaminoto berhaluan kanan berpusat di kota Yogyakarta dan "SI Merah” yang,dipimpin Semaoen berhaluan kiri berpusat di kota Semarang. Alimin juga memperkuat PKI bersama dengan Musso (dari PKI cabang Jakarta) dalam kelompok Prambanan bersama dengan tokoh terkemuka PKI lainnya seperti Semaun dan Darsono yang mendeklarasikan rencana pemberontakan di Prambanan, Solo, awal 1926 dengan target menangkap dan membunuh pejabat pemerintahan baik pejabat pribumi maupun pejabat kulit putih dan juga merusak symbol rezim colonial termasuk instalasi publik dan instalasi batu bara. Awal 1926 Alimin selaku pimpinan PKI pergi ke Singapura untuk bertemu Tan Malaka dengan agenda persiapan pemberontakan, 12 November 1926 sebelum Alimin pulang ke Indonesia pemberontakan di Jakarta meletus disusul dengan tindakan kekerasan di Jawa Barat, Jawa Tengah dan Jawa Timur. Pemberontakan di Sumatra Barat juga meletus pada 1 Januari 1927. Pemberontak tersebut dapat dipatahkan kolonial di Batavia. PKI pun dinyatakan sebagai organisasi. Sampai 12 Januari 1927, ratusan bom dan senjata api disita, lebih dari 1.300 orang ditangkap dan dibuang ke luar Sumatera Barat, termasuk ke Digul, ada pula yang dihukum gantung, sedangkan Alimin dan Musso ditangkap oleh polisi Inggris. Tahun 1926 pasca pemberontakan, setelah ia keluar dari penjara, Alimin pergi ke Moskow, Uni Soviet untuk bergabung dengan Komintern (organisasi komunis internasional) dan Ho Chi Minh pemimpin partai komunis Vietnam untuk melawan Amerika Serikat. Ketika Jepang melakukan agresi terhadap Cina, Alimin pun ikut bergabung bersama tentara merah di daerah basis perlawanan di Yenan. Alimin pulang ke Indonesia setelah Republik Indonesia diproklamasikan. Pada tahun1946, kembali bergabung dengan PKI yang ada di bawah kendali triumvirat Aidit-Njoto-Lukman. Alimin sudah tersingkirkan dari kepemimpinan partai tetapi masih banyak didatangi oleh para pengikutnya. “Razia Agustus 1951” pemerintah Sukiman melakukan razia menangkap Alimin bersama dengan D.N. Aidit, Lukman, Nyoto, Alimin dll termasuk juga beberapa tokoh Masyumi yaitu: M. Isa Anshary, K.H. Abdul Halim dan K. Hassan karena diduga gerakan pengacau DI/TII di Jawa barat dan dianggap bertanggung jawab atas terjadi pemogokan para buruh menentang Peraturan Militer anti mogok dan menuntut bonus lebaran (13 Februari, Juni, Juli dan awal Agustus 1951). Kabinet Sukiman akhirnya jatuh dengan disetujuinya mosi dari Mr. Djodi Gondokusumo oleh parlemen yang menolak MSA (Matual Security Act: Pemerintahan Sukiman mendapatkan bantuan militer oleh Amerika Serikat ketika terjadi pemogokan dan kerusuhan). Tahun 1959 Alimin sebagai anggota konstituante juga ikut dalam penetapan Undang Undang NKRI yang akhirnya dikembalikan ke UUD 1945 lewat Dekrit Presiden yang dibacakan Presiden Soekarno Pada 5 Juli 1959 pukul 17.00, dalam upacara resmi di Istana Merdeka. Saat usianya sudah lanjut Alimin mendapatkan posisi sebagai Sekretaris Propaganda.