Banyak pendapat yang pro dan kontra mengenai asal usul ajaran tasawuf, apakah ia berasal dari luar atau dari dalam agama Islam sendiri. Berbagai sumber mengatakan bahwa ilmu tasawuf sangat lah membingungkan.
Sebagian pendapat mengatakan bahwa paham tasawuf merupakan paham yang sudah berkembang sebelum Nabi Muhammad menjadi Rasulullah. Dan orang-orang Islam baru di daerah Irak dan Iran (sekitar abad 8 Masehi) yang sebelumnya merupakan orang-orang yang memeluk agama non Islam atau menganut paham-paham tertentu. Meski sudah masuk Islam, hidupnya tetap memelihara kesahajaan dan menjauhkan diri dari kemewahan dan kesenangan keduniaan.
Hal ini didorong oleh kesungguhannya untuk mengamalkan ajarannya, yaitu dalam hidupannya sangat berendah-rendah diri dan berhina-hina diri terhadap Tuhan. Mereka selalu mengenakan pakaian yang pada waktu itu termasuk pakaian yang sangat sederhana, yaitu pakaian dari kulit domba yang masih berbulu, sampai akhirnya dikenal sebagai semacam tanda bagi penganut-penganut paham tersebut. Itulah sebabnya maka pahamnya kemudian disebut paham sufi, sufisme atau paham tasawuf. Sementara itu, orang yang penganut paham tersebut disebut orang sufi.
Sebagian pendapat lagi mengatakan bahwa asal usul ajaran tasawuf berasal dari zaman Nabi Muhammad SAW. Berasal dari kata "beranda" (suffa), dan pelakunya disebut dengan ahl al-suffa, seperti telah disebutkan diatas. Mereka dianggap sebagai penanam benih paham tasawuf yang berasal dari pengetahuan Nabi Muhammad.
Pendapat lain menyebutkan tasawuf muncul ketika pertikaian antar umat Islam pada zaman Khalifah Utsman bin Affan dan Ali bin Abi Thalib, khususnya karena faktor politik.Pertikaian antar umat Islam karena karena faktor politik dan perebutan kekuasaan ini terus berlangsung dimasa khalifah-khalifah sesudah Utsman dan Ali. Munculah masyarakat yang bereaksi terhadap hal ini. Mereka menganggap bahwa politik dan kekuasaan merupakan wilayah yang kotor dan busuk. Mereka melakukan gerakan ‘uzlah , yaitu menarik diri dari hingar-bingar masalah duniawi yang seringkali menipu dan menjerumuskan. Lalu munculah gerakan tasawuf yang di pelopori oleh Hasan Al-Bashiri pada abad kedua Hijriyah. Kemudian diikuti oleh figur-figur lain seperti Shafyan al-Tsauri dan Rabi’ah al-‘Adawiyah.
Definisi Sufisme
Yaitu paham mistik dalam agama Islam sebagaimana Taoisme di Tiongkok dan ajaran Yoga di India (Mr. G.B.J Hiltermann & Prof.Dr.P.Van De Woestijne).
Yaitu aliran kerohanian mistik (mystiek geestroming) dalam agama Islam (Dr. C.B. Van Haeringen).
Pendapat yang mengatakan bahwa sufisme/tasawuf berasal dari dalam agama Islam:
Asal-usul ajaran sufi didasari pada sunnah Nabi Muhammad. Keharusan untuk bersungguh-sungguh terhadap Allah merupakan aturan di antara para muslim awal, yang bagi mereka adalah sebuah keadaan yang tak bernama, kemudian menjadi disiplin tersendiri ketika mayoritas masyarakat mulai menyimpang dan berubah dari keadaan ini. (Nuh Ha Mim Keller, 1995)
Seorang penulis dari mazhab Maliki, Abd al-Wahhab al-Sha'rani mendefinisikan Sufisme sebagai berikut: "Jalan para sufi dibangun dari Qur'an dan Sunnah, dan didasarkan pada cara hidup berdasarkan moral para nabi dan yang tersucikan. Tidak bisa disalahkan, kecuali apabila melanggar pernyataan eksplisit dari Qur'an, sunnah, atau ijma." [11. Sha'rani, al-Tabaqat al-Kubra (Kairo, 1374), I, 4.].
Sufi tidak lain adalah ajaran untuk mencapai maqam Ihsan (sebagaimana tersebut dalam hadist) atau mencapai status muqarrabun (orang-orang yang didekatkan kepada ALLAH).
Tasawuf adalah penafsiran bathin (psikologis) dari ayat-ayat Quran seperti : Perumpamaan orang-orang yang mengambil pelindung-pelindung selain ALLAH adalah seperti laba-laba yang membuat rumah. Dan sesungguhnya rumah yang paling lemah adalah rumah laba-laba kalau mereka mengetahui (Quran, 29:41). Dalam Tasawuf, yang dimaksud pelindung dalam ayat ini juga termasuk pelindung secara psikologis, sebagaimana kita ketahui manusia banyak menggantungkan keberhargaan dirinya kepada dunia (seperti harta, jabatan, pasangan, teman, dll).
Dalam Tasawuf, keberhargaan diri hanya boleh digantungkan kepada ALLAH. Karena jika memang mereka percaya ALLAH adalah yang paling kuat dan berharga, maka menggantungkan kepada selain ALLAH adalah taghut (sesembahan). Inilah kenapa dalam tareqahnya, seorang Sufi (penempuh Tasawuf) harus bisa menjadikan ALLAH sebagai satu-satunya sumber kekuatan dan penghargaan dirinya. Dalam istilah lain, Tasawuf adalah ajaran untuk mencapai Tauhid secara bathin (psikologis).
Sisi psikologis (bathin) yang terdapat dalam ajaran-ajaran Kristen, Budha, dll sebaiknya tidak menafikan keberadaan Tasawuf sebagai sisi psikologis (bathin) dalam ajaran Islam. Hal ini karena Islam adalah ajaran penyempurna sehingga tidak harus sepenuhnya baru dari ajaran-ajaran yang terdahulu. Adanya sisi bathin dalam ajaran-ajaran yang sebelumnya ada malahan memperkuat status Tasawuf karena tentunya harus ada garis merah antara agama-agama yang besar, karena kemungkinan besar ajaran-ajaran tersebut dulunya sempat benar, sehingga masih ada sisa-sisa kebenaran yang mirip dengan Tasawuf sebagai sisi bathin (psikologis) dari ajaran Islam.
Pendapat yang mengatakan bahwa tasawuf berasal dari luar agama Islam:
Sufisme berasal dari bahasa Arab suf, yaitu pakaian yang terbuat dari wol pada kaum asketen (yaitu orang yang hidupnya menjauhkan diri dari kemewahan dan kesenangan). Dunia Kristen, neo platonisme, pengaruh Persi dan India ikut menentukan paham tasawuf sebagai arah asketis-mistis dalam ajaran Islam (Mr. G.B.J Hiltermann & Prof.Dr.P.Van De Woestijne).
(Sufisme)yaitu ajaran mistik (mystieke leer) yang dianut sekelompok kepercayaan di Timur terutama Persi dan India yang mengajarkan bahwa semua yang muncul di dunia ini sebagai sesuatu yang khayali (als idealish verschijnt), manusia sebagai pancaran (uitvloeisel) dari Tuhan selalu berusaha untuk kembali bersatu dengan DIA (J. Kramers Jz).
Al Quran pada permulaan Islam diajarkan cukup menuntun kehidupan batin umat Muslimin yang saat itu terbatas jumlahnya. Lambat laun dengan bertambah luasnya daerah dan pemeluknya, Islam kemudian menampung perasaan-perasaan dari luar, dari pemeluk-pemeluk yang sebelum masuk Islam sudah menganut agama-agama yang kuat ajaran kebatinannya dan telah mengikuti ajaran mistik, keyakinan mencari-cari hubungan perseorangan dengan ketuhanan dalam berbagai bentuk dan corak yang ditentukan agama masing-masing.
Perasaan mistik yang ada pada kaum Muslim abad 2 Hijriyah (yang sebagian diantaranya sebelumnya menganut agama Non Islam, semisal orang India yang sebelumnya beragama Hindu, orang-orang Persi yang sebelumnya beragama Zoroaster atau orang Siria yang sebelumnya beragama Masehi) tidak ketahuan masuk dalam kehidupan kaum Muslim karena pada mereka masih terdapat kehidupan batin yang ingin mencari kedekatan diri pribadi dengan Tuhan.
Keyakinan dan gerak-gerik (akibat paham mistik) ini makin hari makin luas mendapat sambutan dari kaum Muslim, meski mendapat tantangan dari ahli-ahli dan guru agamanya. Maka dengan jalan demikian berbagai aliran mistik ini yang pada permulaannya ada yang berasal dari aliran mistik Masehi, Platonisme, Persi dan India perlahan-lahan memengaruhi aliran-aliran di dalam Islam (Prof.Dr.H.Abubakar Aceh).
Paham tasawuf terbentuk dari dua unsur, yaitu (1) Perasaan kebatinan yang ada pada sementara orang Islam sejak awal perkembangan Agama Islam,(2) Adat atau kebiasaan orang Islam baru yang bersumber dari agama-agama non Islam dan berbagai paham mistik. Oleh karenanya, paham tasawuf itu bukan ajaran Islam walaupun tidak sedikit mengandung unsur-unsur ajaran Islam. Dengan kata lain, dalam agama Islam tidak ada paham Tasawuf walaupun tidak sedikit jumlah orang Islam yang menganutnya (MH. Amien Jaiz, 1980).
Tasawuf dan sufi berasal dari kota Bashrah di negeri Irak. Dan karena suka mengenakan pakaian yang terbuat dari bulu domba (Shuuf), maka mereka disebut dengan "Sufi". Soal hakikat Tasawuf, hal itu bukanlah ajaran Rasulullah SAW dan bukan pula ilmu warisan dari Ali bin Abi Thalib Radiyallahu ‘anhu. Menurut Asy Syaikh Ihsan Ilahi Zhahir rahimahullah berkata: “Tatkala kita telusuri ajaran Sufi periode pertama dan terakhir, dan juga perkataan-perkataan mereka baik yang keluar dari lisan atau pun yang terdapat di dalam buku-buku terdahulu dan terkini mereka, maka sangat berbeda dengan ajaran Al Qur’an dan As Sunnah.
Dan kita tidak pernah melihat asal usul ajaran Sufi ini di dalam sejarah pemimpin umat manusia Muhammad SAW, dan juga dalam sejarah para shahabatnya yang mulia, serta makhluk-makhluk pilihan Allah Ta’ala di alam semesta ini. Bahkan sebaliknya, kita melihat bahwa ajaran Sufi ini diambil dan diwarisi dari kerahiban Nashrani, Brahma Hindu, ibadah Yahudi dan zuhud Buddha" - At Tashawwuf Al Mansya’ Wal Mashadir, hal. 28.(Ruwaifi’ bin Sulaimi).