Kara Ali, Osman Gazi tarafından 1308 senesinde Bursa civarında Kite Tekfuruna bağlı Galios Adasının fethine memur edildi. Adayı fethedince, buradaki büyük kilisenin şöhret sahibi rahibini ailecek Osman Gazinin huzuruna getirdi. Daha sonra rahibin kızı Kara Ali ile evlendirildi.
1313 yılında Geyve’ye bağlı müstahkem Tekfur Pınarı Kalesini zapteden Kara Ali, ele geçirdiği ganimetleri Osman Gaziye gönderdi. Bu hizmetine karşılık Tekfur Pınarı ve buraya bağlı olan yerler, kendisine timar olarak verildi. Geyve ve diğer yerler de öteki gazilere dağıtıldı. Kara Ali daha sonra Geyve’ye bağlı Bizans kalelerinden Yeni Kale, Önde ve Yamukça hisar kalelerini Osmanlı topraklarına kattı.
Osman Gazi zamanında başarılı askeri hizmetleri görülen Kara Ali, bu hizmetlerini Orhan Gazi zamanında da sürdürdü. Orhan Gazi, ilk Osmanlı amirali Kara Mürsel Bey’in vefatından sonra, onun yerine Kara Ali Beyi getirdi. O sırada derya kaptanının tam karşılığı olarak emir-ül-bahr unvanı kullanıldığı için, Kara Ali Bey, kısaca Emir Ali diye anılmış ve tarihe böyle geçmiştir.
Emir Ali, yeni kurulan Osmanlı denizciliğini hareketlendirmek suretiyle, Marmara’da bir deniz hakimiyeti kurdu. Bu suretle Mudanya ve Gemlik kıyılarına asker çıkararak Bursa’ya yardım eden Bizans donanmasını, böyle bir dayanaktan mahrum bıraktı. Bursa ve İznik’in fethedilmesini kolaylaştırdı. Bu arada Marmara’daki dayanak noktalarını da ihmal etmeyen Emir Ali, önceleri ismini alan, fakat sonraları halk dilinde İmralı şekline çevrilen Kalo Limno Adası ile Marmara Adasını da fethetti. 1330’da Osmanlılarla Bizanslılar arasında vuku bulan Pelekanon Muharebesine katıldı ve zaferin kazanılmasında büyük yararlık gösterdi. Gemlik, Armutlu, İzmit, Yalova, Hereke gibi sahil şehirlerini fethederek (1338), Osmanlıların, Marmara kıyılarına inmelerini sağladı. Böylece yeni kurulan Osmanlı filosu ile kara harekatına büyük destek oldu.
Daha sonra Rumeli Fatihi Süleyman Paşanın, Rumeli’ye geçişinde büyük hizmetleri oldu. 1356 Mart ayında çetin ve kanlı bir muharebeye sahne olan Gelibolu’nun fethinde şehid düştü. Vasiyeti üzerine, Gelibolu’nun sonradan Hamza Bey Limanı ismini alan Marmara cihetindeki kıyısına defnedildi. Oğlu Timurtaş Paşa onun yattığı yere sonradan bir türbe yaptırdı. Gelibolu ve çevre halkı onu “Ali Baba” diye rahmetle anmakta ve türbesini ziyaret etmektedir.