1916`da Çarlık ordusuna katıldı.Sovyet Devrimi`nden sonra Komünist Parti`ye ve Kızıl Ordu`ya girdi (1918).İç Savaş sırasında gerilla grupları örgütledi; Aleksandr V. Kolçak`ın önderliğindeki Beyaz Ordu`ya ve Japonlara karşı savaştı.Bolşevik yönetimine karşı başlatılan Kronştadt Ayaklanması`nın (1921) bastırılmasında görev aldı.1926`da Frunze Askeri Akademisi`nden mezun olarak askeri eğitimini tamamladı.
Almanya`nın SSCB`ye saldırdığı Haziran 1941`de orduda general rütbesiyle görev yapan Konev; Alman kuvvetlerine karşı ilk karşı saldırıyı gerçekleştiren birliklere komuta etti.Nasyonal Sosyalist Alman İşçi Partisi tank uzmanı General Heinz Guderian`ın Moskova`ya ilerlemesini uyguladığı taktiklerle engelledi (Aralık 1941).1942 yazında, Stalingrad`ı kuşatma altında tutan Alman ordusunu takviye etmek için gönderilen büyük bir Alman birliğini durdurdu.Almanya`nın üçüncü yaz saldırısının (1943) geri püskürtülmesini sağlayan generaller arasında yer aldı.100 bin kişilik bir Nasyonal Sosyalist Alman İşçi Partisi ordusunun Korsun`da tuzağa düşürdükten sonra mareşalliğe yükseltildi (Mart 1944).Konev`in ordusu, savaş sırasında Alman ordularını ilk kez SSCB sınırlarının gerisine çekilmeye zorlayan ve Vistül Irmağını aşıp Polonya üzerinden ilk kez Alman topraklarına giren ordu oldu.Komutasındaki 1. Ukrayna Ordusu`yla Oder Irmağına doğru ilerledi ve burada Mareşal Georgi Jukov`un komutasındaki kuvvetlerle birleşerek Berlin`i ele geçirdi.Daha sonra Torgau`da General Mark Clark`ın komutası altındaki ABD birlikleriyle birleşti.
Almanya`nın yenilmesinden sonra, önce Avusturya yüksek komiserliğine (1945), ardından da Jukov`un yerine Sovyet Kara Kuvvetleri`nin başkomutanlığına getirildi (1946-1950).Bundan sonra önemli askeri görevler üstlenen Konev 1955-1960 arasında Varşova Paktı kuvvetlerinin başkomutanı olarak görev aldı.1961-1962 yıllarında Doğu Almanya`daki SSCB kuvvetlerinin başkomutanlığını yaptı.1962`de bu görevden ayrıldıktan sonra da Savunma Bakanlığı`nda çalışmayı sürdürdü.
