Devşirme olup, sarayda Akağalar odasında yetiştirildi. Babüssaade ağasıyken İkinci Bayezid Han tarafından Karaman Beylerbeyliğine tayin edildi. Semendire, İşkodra kumandanlıkları ile Mora ve Memluklu seferlerinde gösterdiği başarılar sebebiyle 1484’te Rumeli Beylerbeyliğine getirildi. Bu vazifedeyken Eflak’taki savaşlarda gösterdiği muvaffakiyetler sonucu vezirlik rütbesi verildi (1488). 1501 yılında veziriazam oldu. İki yıl sonra bu görevden azledildi ise de, 1506’da tekrar getirildi. İkinci Bayezid Han şehzadeleri arasındaki mücadelede Selim ve Korkud’a karşı Ahmed’i destekledi. Bayezid Han, 1511’de Ali Paşa ile oğlu Ahmed’i Şahkulu İsyanını bastırmakla görevlendirdi. Ali Paşa, Kayseri ile Sivas arasındaki Gökçay mevkiinde isyancıları pusuya düşürerek imha ederken kendisi de vurularak şehid düştü.
Hadım Ali Paşanın İstanbul’da, biri Divanyolu’nda diğeri Fatih Zincirlikuyu’da olmak üzere iki camisi ile bir medresesi ve bir imareti vardır. İlim adamlarını himaye ve teşvik ederdi. Şair Mesihi, Ali Paşanın yanında katip olarak görev yapardı. Büyük alim ve tarihçi İdris-i Bitlisi onun himayeleri sonucu Heşt Behişt adlı eserini yazmıştır.