Daha sonra Mülkiye Mektebine müdür oldu. Burada genel coğrafya, Osmanlı tarihi, İslam tarihi, istatistik ve ahlak dersleri okuttu. Sonra da Darülfünuna devletler tarihi hocası oldu. Pekçok yerde hocalık ve müdürlük vazifeleri yaptıktan sonra, Defter-i Hakani Nezaretine, A’yan meclisi üyeliğine, Maarif Nazırlığına tayin edildi. İki defa Maarif Nazırı oldu. Bu vazifesinin yanında telif edilen eserleri tetkik komisyonu üyeliği, vak’anüvistlik, Tarih-i Osmani Encümeni Reisliği ve A’yan Heyeti ikinci reisliği gibi vazifeler verildi.
Birinci Dünya Savaşından sonra İttihat ve Terakki hükumeti iktidardan çekilince yeni kurulan Müşir İzzet Paşa kabinesinde önce Posta ve Telgraf Nazırı sonra da Devlet Şurası başkanı oldu. Salih Paşa kabinesinde önce vekaleten sonra da asaleten Maarif Nazılırlığı yaptı. Salih Paşa istifa edince açıkta kaldı. Kuvay-ı Milliye İstanbul’a gelip A’yan Heyeti kaldırılınca, Abdurrahman Şeref’in a’yan üyeliği sona erdi. Türkiye Cumhuriyeti Büyük Millet Meclisinin ikinci seçim devresinde, 1923’te İstanbul Milletvekili oldu. Ankara’ya gidip Kızılay’a başkan seçildi. Milletvekilliği sırasında hastalandı ve İstanbul’a döndü. 1925’te öldü. Mezarı Edirnekapı’dadır.
Devlet adamlığından ziyade tarihçiliği ile meşhur olan Abdurrahman Şeref, saliseden balaya kadar bütün rütbeleri kazanmıştı.
