Ada beberapa sumber perihal etimologi dari kata "Sufi". Pandangan yang umum adalah kata itu berasal dari Suf (صوف), bahasa Arab untuk wol, merujuk kepada jubah sederhana yang dikenakan oleh para asetik Muslim. Namun tidak semua Sufi mengenakan jubah atau pakaian dari wol. Ada juga yang berpendapat bahwa sufi berasal dari katasaf, yakni barisan dalam sholat. Suatu teori etimologis yang lain menyatakan bahwa akar kata dari Sufi adalah Safa (صفا), yang berarti kemurnian. Hal ini menaruh penekanan pada Sufisme pada kemurnian hati dan jiwa. Teori lain mengatakan bahwa tasawuf berasal dari kata Yunani theosofie artinya ilmu ketuhanan.