1932'de Hukuk Fakültesi'ni bitirdi. Emniyet Genel Müdürlüğü'nün çeşitli kademelerinde görev yaptı. 1948'de Yozgat, 1950'de Antalya, 1953'de Çanakkale, 1954'de Sivas valisi oldu. Aynı yıl getirildiği Bursa valiliği görevini 1960'a değin sürdürdü. 1961'de siyasete atılarak Adalet Partisi'nden Bursa senatörü seçildi. 20 Şubat 1965'te Suat Hayri Ürgüplü başkanlığında kurulan koalisyon hükümetinde çalışma bakanı oldu. 1965 genel seçimlerinin ardından kurulan Demirel hükümetinde dışişleri bakanı olarak görev aldı. Hükümetin 12 Mart 1971 askeri müdahalesi üzerine istifa etmesiyle, bu görevden ayrıldı. 12 Mart döneminde senato üyeliğini ve AP içindeki etkili konumunu sürdürdü.
Mart 1975'te Demirel'in kurduğu I. Milliyetçi Cephe hükümetinde gene dışişleri bakanlığı görevine getirildi. 5 Haziran 1977 genel seçimlerinden sonra kurulan CHP azınlık hükümetinin güvenoyu alamamasından sonra Ağustos 1977'de Süleyman Demirel başkanlığında oluşturulan II. Milliyetçi Cephe hükümetinde de aynı görevi üstlendi. Aralık 1977'de hükümetin bir gensoruyla düşürülmesine değin bakanlık görevini sürdürdü. Ekim 1979'daki ara seçimlerden sonra Cumhuriyet Senatosu başkanlığına seçildi. 6 Nisan 1980'de görev süresi dolan Cumhurbaşkanı Fahri Korutürk'ün yerine cumhurbaşkanlığı görevine vekalet etti. 12 Eylül 1980 askeri müdahalesiyle sona eren bu görevi sırasında kontenjan senatörleri ataması mecliste tartışmalara yol açtı.
1982 Anayasası'nın geçici 4. maddesi ile 5 yıllık siyaset yasaklıları arasına giren Çağlayangil Mayıs 1983'te siyasal partilerin kurulmasına izin verilmesinden sonra Büyük Türkiye Partisi'nin (BTP) kuruluşunda rol oynadı. Partinin Milli Güvenlik Konseyi kararıyla kapatılmasının ardından bazı eski AP'li ve CHP'li politikacılarla beraber 1 Haziran 1983 - 30 Eylül 1983 arasında Zincirbozan'da (Çanakkale) gözetim altında tutuldu.6 Eylül 1987'de yapılan referandum sonunda siyaset yasağı kalktı.Kasım 1990'da siyasetten ayrıldığını açıkladı. İhsan Sabri Çağlayangil, siyasetin yanında önceleri bir süre şiirle de uğraştı.. Zincirlikuyu Mezarlığına defnedilmiştir.