Dört sene dokuz ay kaldığı bu vazifedeyken Abidin Paşa, Mesnevi-i Şerif’i tercüme ve şerh etti. 1885 senesinde Sivas valiliğine tayin edildiyse de bir sene sonra Ankara valiliğine getirildi. Sekiz sene kadar bu vazifede bulunan Abidin Paşa, 1894 senesinde Cezayir-i Bahrisefid (Akdeniz adaları) valiliklerine atandı. 1906 senesinde Yemen işlerini ıslahla ilgili komisyonda görevli iken, 1908 yılında İstanbul’da vefat etti. Kabri, Fatih Camii bahçesindedir.
Abidin Paşa vazifeli bulunduğu yerlerde idareciliği ve davranışları ile kendini halka sevdirmişti. Ana dili Türkçeden başka Arapça, Farsça, Arnavutça, Fransızca ve Rumcayı çok iyi bilirdi. Rumca şiirleri İstanbul ve Paris’te yayınlanmıştır.
Abidin Paşa, Mesnevi-i Şerif’in birinci kıt’asının şerhini yapınca, bir nüshasını da Cevdet Paşaya göndermişti. Cevdet Paşa, onu, böyle bir şerhi, özellikle devrin diliyle yazmasından dolayı takdir etmiştir. Fakat Cevdet Paşa asıl konuya Abidin Paşanın; "Mesnevi-i Şerif, altı cildden ibaret olup, altıncı cildin nısfı sanisiyle yedi cild üzere bulunur.” demesi üzerine geçmiş ve bütün mesnevilerin altı cild olduğunu belirterek düzme olan yedinci cild üzerinde geniş olarak durmuştur. Paşa, çeşitli cephelerden bu cildi ele almış ve Celaleddin-i Rumi hazretlerinin olmadığını isbat etmiştir.
Abidin Paşa da üçüncü defa bastırdığı encümenin birinci cildinde Cevdet Paşanın bu haklı tenkidi karşısında eski fikrinden dönmüştür.
Abidin Paşa, Mesnevi şerhinde, Mesnevi’nin birinci beyti olan:
Bişnev ez ney çün hikayet miküned, Ez cüdayiha, şikayet miküned.
“Dinle neyden nasıl anlatıyor, ayrılıklardan şikayet ediyor.” beytinin açıklamasını yaptıktan sonra, şerhine başlayarak, ney’in, insan-ı kamil olduğunu dokuz şekilde isbat etmektedir. Bunlardan birincisi şu şekildedir: “Neyden maksad, arif ve akıllı insandır ki, ağzından daima aşıkane, leziz ve manidar sözler çıkar. Bu beytin ikinci mısraında “Ez cüdayiha şikayet miküned” (Ayrılıklardan nasıl şikayet ediyor) buyurulması, arifin, yani Allah adamının ruhani alemden ayrılıp dünyada bulunmasından, kendini gurbette hissetmesinden ve üzücü, daima değişip duran hadiselere giriftar olmasından şikayet etmesidir.
Mesnevi-i Şerif’in bu ilk beytinde Celaleddin-i Rumi kuddise sirruh işitme işiyle ilgili olan "Bişnev" (işit) emri ile söze başlamaktadır. Bundan maksadı, hem beyan buyurdukları ney’in sedası tabii olarak işitilmeye muhtaç, hem de işitme duyusunun diğer duyu organlarından ve uzuvlarından daha faziletli, değerli olmasındandır. İşitme organı ve duyusundan sonra uzuvların en kıymetlisi olan göz bile, yalnız bazı sınırlı ve maddi şeyleri görebiliyor. Kulak ise, maneviyatı, akıl ile idrak olunabilen şeyleri, yani ma'kulatı ve birçok hikmetleri işitebilmektedir. Allahü tealanın peygamberleri (ala nebiyyina ve aleyhimüssalevatü vetteslimat) bütün insanlık için iki cihanın saadetine vesile olan Allahü tealanın emir ve yasaklarını tebliğ için, tabii olarak işitenlerin, işitme duyusuna müracaat ederlerdi. Göz, ışıksız vazifesini yapamamaktadır. Kulak ise zahiri yardımcılara muhtaç olmayıp, daima binlerle çeşit ses ve sedayı işitip, idrak eder ve aklın nurunu malumatını her şeyden ziyade artırır ve insanın kadrini yüceltir.
Mesnevi’nin bu beytinden arifin, yani veliyy-i kamilin ney’e benzetilmesinde bazı hikmetler mevcuttur. Mesela, ney önce kamışlıkta bulunuyordu. Kesilmemişken daima büyüyüp gelişiyor, taze hayat buluyordu. Kesildikten sonra ise kurudu. İşte arifin ruhu da, ruhlar aleminde nihayetsiz manevi nimet ve lezzetlere mazhar iken, dünyaya gelince, adeta ab-ı hayat gibi olan o ruhlar aleminden mahrum kaldığından susuz kalmış kamış gibi kurudu.
Abidin Paşanın başka eserleri de vardır. Bunlar; 1) Alem-i İslam'ı Müdafaa: Bir Hıristiyan papazın Kur’an-ı kerim hakkındaki görüşlerine cevaptır. 2) Meali-i İslamiyye: İslam dininin değeri ve üstünlükleri hakkındadır. 3) Seadet-i Dünya: Ahlakla ilgilidir. 4) Kaside-i Bürde Tercümesi'dir.