À la mort du prophète en 632, vint la question de la succession du calife ; le choix de la communauté se porte sur Abu Bakr puis Omar en 634. Après l'assassinat du troisième calife Uthman en 656, il accèda au pouvoir mais se heurta à des revendications pour appliquer la loi du Talion aux assassins de Uthman. Parmi eux, Aïcha la veuve de Mahomet alliée à deux prétendants, Talha et Al-Zulbayr, qu'il vainquit près de Basra à la bataille du chameau (656).
Lors de la bataille de Siffin (657), il doit affronter le gouverneur de Damas Mu'âwîya membre de la famille de 'Uthman. Alors qu'il avait l'avantage, il accepte l'idée d'un arbitrage, mais celui-ci tourne en sa défaveur. Il est remplacé par Mu'âwîya, qui devient le premier calife omeyyade en 661. 'Alî conserve néanmoins un certain pouvoir et se replie dans la ville de Koufa dont il avait fait sa capitale.
Parmi ses fidèles, certains lui reprochèrent d'avoir accepté de se soumettre à un arbitrage humain et quittèrent ses rangs, on les appellera les Kharidjites (les sortants). Plus tard, ils entrèrent ouvertement en rébellion contre 'Alî qui les vainquit à la bataille de Nahrawan (658). Décidés à venger leurs morts, les Kharijites firent assassiner 'Alî en janvier 661, en pleine prière, dans le mihrab de la mosquée de Koufa par l'un des leurs nommé Abdul rahman Ibn Muldjam. On estime qu''Alî avait alors 62 ou 63 ans.