KH Zainul Arifin merupakan anak tunggal dari keturunan raja Barus dengan perempuan bangsawan asal Kotanopan, Mandailing. Sayangnya, kedua orangtuanya memilih bercerai justru saat ia masih kecil.Bersama ibunya, ia kemudian pindah ke Kotanopan dan lalu ke Kerinci, Jambi. Ia sempat mengenyam pendidikan di HIS (Hollands Indische School) dan sekolah menengah calon guru, Normal School. Sempat pula ia mengikuti pelatihan seni bela diri Pencak Silat, pendidikan agama di madrasah selain kegiatan seni sandiwara musikal melayu. Di saat usianya 17 tahun, Arifin memutuskan untuk pindah ke Jakarta. Di sana ia mencari-cari pekerjaan sebelumnya akhirnya bekerja sebagai pegawai di Perusahaan Air Minum (PAM) di Pejompongan Jakarta Pusat di pemerintahan kotapraja kolonial (Gemeente). Di tahun kelimanya bekerja, ia terkena PHK. Ia lalu bekerja sebagai guru sekolah dasar. Sosoknya menjadi lebih dikagumi ketika ia mulai mengabdikan diri untuk kemanusiaan. Ia mendirikan balai pendudukan bagi orang dewasa, membantu masyarakat dalam bidang hukum karena Bahasa Belandanya yang lancar. Arifin kemudian memutuskan untuk bergabung menjadi anggota Gerakan Pemuda (GP) Ansor. Di sini, ia semakin meningkatkan pengetahuan agama serta keterampilan berdakwahnya sebagai mubaligh. Setelah itu, ia pun mahir dalam berpidato, berdebat, dan berdakwah sehingga para tokoh Nahdlatul Ulama pun tertarik. Melalui perjalanan yang panjang, ia lalu diangkat menjadi Ketua Cabang NU Jatinegara sebelum akhirnya menjadi Ketua Majelis Konsul NU Batavia. Arifin menjadi perwakilan NU untuk bermusyawarah dengan organisasi Islam Masyumi pada saat zaman kependudukan Jepang. Ia dipercaya menjadi panglima pasukan Hizbullah setelah beberapa kali mengikuti pelatihan militer. Saat Tentara Nasional Indonesia (TNI) berhasil untuk menyatukan segala kekuatan militer Indonesia, ia lah yang kemudian diangkat menjadi sekretaris pucuk pimpinan TNI.