Pada awalnya Sarekat Islam didirikan oleh pedagang-pedagang Islam di Jawa Tengah dengan maksud melawan persaingan pedagang-pedagang Cina dan praktik imperialisme Belanda. Pada tahun 1912 sempat terjadi perdebatan antara Haji Samanhudi dan Tjokroaminoto mengenai langkah selanjutnya dari SI. Haji Samanhudi yang lebih disibukkan dengan kegiatan perdagangan kemudian menyerahkan tampuk pimpinan kepada Tjokroaminoto.
Pemimpin baru ini kemudian meluaskan ruang lingkup organisasi ini melewati tujuan awal yang dianggap terlalu sempit, menjadi tujuan luas yang mencangkup keseluruhan umat Islam Bumiputera dengan tujuan menentang praktik kolonialisme Belanda. Dengan berlandaskan semangat Pan-Islamisme, Sarekat Islam memulai pergerakannya.
Sejak Sarekat Islam disahkan oleh notaris, organisasi ini terus berkembang dengan pesat. Sarekat Islam telah bekerjasama dengan Muhammadiyah sejak 1913. Kedua lembaga tersebut sejak awal berjuang bersma dalam wilayah yang berbeda. Muhammadiyah membangun Islam dalam wilayah Sosial-Religio, sedangkan SI memperjuangkan Islam melalui Jalur Politik.
Pada tahun 1919 Sarekat Islam mengklaim keanggotaan sebanyak 2 juta orang. Perkembangan Sarekat Islam yang bisa dikatakan sangat cepat ini, dikarenakan sebagian besar orang Indonesia pada waktu itu masih belum mempunyai artikulasi politik yang tinggi. Mereka menganggap kehadiran Sarekat Islam sebagai simbol protes melawan keadaan yang tengah berlangsung.
Selain itu Sarekat Islam dalam hal cangkupan wilayah dan keanggotaannya yang lebih luas dari Budi Utomo, juga menjadi alasan pertumbuhan pesat keanggotaan Sarekat Islam. Jika Budi Utomo keanggotaannya hanya sebatas para priyayi yang terdapat di Jawa, maka Sarekat Islam lebih luas lagi dari itu, mereka mencangkup keanggotaan hingga ke luar pulau Jawa. Orang-orang Bumiputera yang masih kental dengan adat kejawen, menganggap Tjokroaminoto sebagai penjelmaan ratu adil, sehingga menyebabkan orang-orang pedesaan berbondong-bondong bergabung dengan organisasi ini.
Saat SI mulai melebarkan sayap organisasi, Gubernur Jenderal Idenburg secara hati-hati mendukung Si, dan dia memberi pengakuan resmi kepada SI. Meskipun demikian, dia hanya mengakui organisasi-organisasi Sarekat Islam lokal tersebut sebagai suatu kumpulan cabang-cabang yang otonom saja daripada sebagai suatu organisasi nasional yang dikendalikan oleh markas pusat pusat organisasi. Akibatnya pusat organisasi Sarekat Islam kesulitan untuk mengatur organisasi-organisasi daerah itu, sehingga konsolidasi pun sulit dilaksanakan.
Pengesahan terhadap SI beserta syarat-syarat kelembagaannya diterima dengan baik oleh Tjokroaminoto sebagai pemimpin SI. Melihat kenyataan yang dapat meruntuhkan keberadaan SI, Tjokroaminoto mengadakan kongres Nasional SI pertama pada 17-24 Juni 1916 yang bertempat di Bandung. Kongres tersebut membentuk Central Sarekat Islam (CSI). CSI dibentuk sebagai federasi dari berbagai SI lokal yang tersebar di seluruh Indonesia.
Pasca terbentuknya CSI, Tjokroaminoto melakukan kunjungan ke berbagai daerah untuk membentuk organisasi SI lokal. Melalui kemampuan berpidato dan suaranya yang berwibawa, Tjokroaminoto menjadi sosok panutan dalam SI. Hampir setiap warga desa yang menggabungkan di dalam SI, selalu mengelu-elukan Tjokroaminoto sebagai ratu adil. Sadar akan kemampuannya, Tjokroaminoto semakin luas memprogandakan SI di berbagai daerah Indonesia.
Selain Tjokroaminoto, terdapat beberapa tokoh penting SI yang juga melakukan hal serupa, seperti Raden Gunawan, Abdul Moeis, dan Haji Agus Salim. Raden Gunawan melakuakan propaganda di Jawa Barat hingga Sumaera Selatan. Abdul Moeis, melakukan propaganda di Sumatera Barat. Haji Agus Salim, melakukan propaganda ke berbagai daerah di Indonesia, selain melakukan propaganda Haji Agus Salim juga memperkuat basis ideologis kelembagaan SI.
Seiring berkembangnya Sarekat Islam, ideologi Sosialis-Komunis juga mengalami perkembangan di Indonesia. Sosialisme Komunis di Indonesia yang disebarkan oleh propagandis Belanda seperti: Sneevliet, Barandesteder, Ir. Baars, Brigsma, dan Van Burink. Mereka membentuk organisasi pergerakan sosialis Indische Sociaal Democratische Vereeniging (ISDV) di Semarang. Untuk memperjuangkan kepentingan buruh, ISDV kemudian membentuk Vereeniging voor Spoor en Tramweg Personeel (VSTP).
Pergerakan yang dilakukan kaum sosialis ini, ternyata menarik simpati para anggota SI, sehingga beberapa anggota SI turut serta menjadi anggota ISDV dan VSTP. Dimulai dengan munculnya Semaoen yang merupakan anggota VSTP sebagai ketua SI Semarang, diikuti masuknya para anggota SI yang lain ke dalam organisasi-organisasi tersebut, hal ini tentu saja memperkuat posisi kaum sosialis.
Sosialis-Komunis menjadi wacana baru bagi para anggota Sarekat Islam, selain Pan Islamisme. Munculnya kaum sosialis di dalam Sarekat Islam menimbulkan suatu intrik ideologi di dalam SI, yang akan dibahas dalam point tersendiri.
Pada tahun 1921, Sarekat Islam mengubah namanya menjadi Partai Sarekat Islam. Perubahan nama ini didasari untuk memperkuat nilai ideologis serta transformasi menjadi organisasi pergerakan modern yang bergerak di jalur politik dengan ideologi Sosialisme Islam. Dengan munculnya ideologi sosialisme yang dikembangkan oleh PSI, pada tahun 1930 PSI kembali merubah namanya menjadi Partai Sarekat Islam Indonesia (PSII). Perubahan nama ini bertunjuan untuk memantapkan dasar ideologis partai.
Sejak dilakukannya strukturisasi PSII, posisi pemimpin digantikan oleh kelompok muda seperti Abikoesno Tjokrosujoso (adik Tjokroaminoto), dan dibantu oleh Sihabuddin Latif, W. A. Rohman, dan lain-lain. Di bawah kepemimpinan Abikoesno, PSII secara tegas memberlakukan politik hijrah dan melaksanankan sikap non-kooperasi terhadap pemerintah Hindia Belanda.
Kebijakan Abikoesno mendapat reaksi dari berbagai pihak, karena terlalu kaku dalam memaknai politik hijrah dan sikap non-kooperasi terhadap pemerintah. Salah satu tokoh PSII yang menentang adalah Agus Salim. Ia memandang sikap hijrah ke non-kooperasi adalah suatu kegagalan. Pada November 1936, ia membentuk kelompok yang bersifat kooperatif dengan nama Barisan Penyadar PSII. Namun, satu tahun berikutnya barisan tersebut secara resmi dikeluarkan dari PSII.
Sikap non-kooperatif PSII berakhir pada tahun 1942, seiring dengan berhasilnya Jepang mengusir Belanda. Jepang melakukan penghapusan lembaga-lembaga yang dibentuk pada masa pemerintahan Belanda. PSII termasuk organisasi yang dihapus pemerintah Jepang pada masa itu.
Jepang hanya memberi kelonggaran kepada Majelas Islam A’la Indonesia (MIAI) sebagai federasi umat Islam yang telah dibentuk PSII pada 1930. Meskipun telah dibubarkan perjuangan anggota PSII terus berlanjut di MIAI, mereka mengupayakan pembentukan Bait al-mal (rumah zakat). Namun, sebelum rumah zakat berhasil terbentuk, pemerintah Jepang membubarkan MIAI pada tahun 1943.
Pada perumusan dasar negara, Sarekat Islam masih menurunkan kadernya dalam pembentukan tersebut. Salah satunya adalah Abiekoesno yang menjadi anggota panitia sembilan. Sehingga kader-kader Sarekat Islam masih terus berjuang meskipun wadah organisasinya telah dibubarkan
