Birinci Dünya Savaşı sırasında, 1917 yılında subay adayı olarak eğitim kampına katıldı. Aynı yıl Filistin cephesinde görev aldı. 1918 yılında Mısır'da İngilizler'e esir düştü. Esaretten döndükten sonra, Kurtuluş Savaşı'na katılarak, Güney cephesinde görev aldı. Sonradan Batı cephesinde görevini sürdürdü.
1927 yılında Harp Okulu öğrenimini tamamladı. 1930 yılında Harp Akademisi'ni bitirdi. Silahlı Kuvvetler'de çeşitli görevler almıştır. 1949 yılında Tuğgeneralliğe terfi etmiştir. Tuğgeneral rütbesi ile 3. Zırhlı Tugay Komutanlığı ve Genelkurmay Harekat Daire Başkanlığı yapmıştır. 1952 yılında Tümgeneralliğe terfi etmiştir. Tümgeneral rütbesi ile Genelkurmay Harekat Daire Başkanlığı ve 33.Tümen Komutanlığı görevlerinde bulunmuştur. 1955 yılında Korgeneralliğe terfi etmiştir. Korgeneral rütbesi ile 9. Kolordu Komutanlığı, Genelkurmay Harekat Başkanlığı ve Genelkurmay II. Başkanlığı görevlerinde bulunduktan sonra 1958 yılında Orgeneralliğe terfi etmiştir. Orgeneral rütbesinde Genelkurmay II. Başkanlığı, Kara Kuvvetleri Komutanlığı görevlerini yürütmüştür. 2 Ağustos 1960 yılında Genelkurmay Başkanlığı görevine atanmıştır. 15 Mart 1966 tarihinde kendi isteği ile emekli olmuş ve aynı yıl Cumhurbaşkanlığı kontenjan senatörlüğüne seçilmiştir. Cemal Gürsel'in rahatsızlığı sebebiyle görevden ayrılması üzerine, 28 Mart 1966'da Türkiye Büyük Millet Meclisi tarafından Türkiye'nin beşinci Cumhurbaşkanı seçilmiş, yedi yıllık görev süresini tamamladıktan sonra 28 Mart 1973'te Cumhurbaşkanlığı'ndan ayrılmıştır.
1929 yılında Atıfet Hanım'la evlenen ve üç çocuğu olan Cevdet Sunay 22 Mayıs 1982'de vefat etmiştir.