Haricilerin ortaya çıkışı bir başka İslam dini siyasi mezhebi olan Şia'nın ortaya çıkışıyla aynı zamana rastlar. Dördüncü halife Ali döneminde ortaya çıkan kargaşa sırasında Hariciler ve Şia aynı tarafta, yani Ali'nin tarafında, yer almışlardır. Yine de Şia mezhebinin düşüncesel temeli Haricilerden eskiye dayanmaktadır.
Hariciler Ali ile Muaviye arasında geçen Sıffin savaşında ortaya çıkmışlardır. Muaviye savaşı kaybedeceğini anlayıp hakeme gitmeyi önermiştir. Ali savaşmaya devam etmekten yana olsa da ordusundan bir grup hakeme gitmeyi uygun gördü. Bunun üzerine Ali de hakeme gitmeye karar verdi. Hakem olayı Ali'nin azli ve Muaviye'nin yerinde kalması ile sonuçlandıktan sonra, Ali'nin ordusundan onu hakeme gitmeye zorlayan grup Ali'ye hakeme gittiği için büyük bir günah ve suç işlediğini öne sürdüler. Bu nedenle de Ali'nin tövbe etmesini talep ettiler, zira Ali'nin hakeme giderek küfür işlediğini yani dinden çıktığını iddia ediyorlardı. Kendilerinin de hakeme gitme istekleri nedeniyle küfre girdiklerini fakat tövbe ederek tekrar dine girdiklerini, mümin olduklarını öne sürüyorlardı.
Hareket bazı Bedevi Arapların da katılımı ile güçlendi. Ali ile hakem konusu yüzünden araları iyice açıldı ve sonunda iş Ali'yi öldürmeye kadar gitti. Daha sonraki Emevi idaresi döneminde de katılımlarla güçlendiler, ve Emevi otoritesine karşı ciddi bir oluşum oldular. Siyasi ve tarihi önemlerinin yanı sıra, itikadi konularda dönemin diğer görüş ve ekollerinden ayrılıp, yeni fikirler ortaya atarak farklı bir itikadi kaideler ve görüşler toplamı da oluşturmuşlardır.