1525’te meydana gelen bir isyanda, saray bir hayli tahrip görmüş, kapı ve pencereleri parçalanmıştır. 1531’de şehzadelerin sünnet merasimi dolayısıyla yapılan eğlenceleri seyretmesi için, padişaha mahsus olmak üzere meydanı gören bir kasr inşa edilmiştir.İbrahim Paşanın ölümünden sonra sarayın bir kısmı, kapıkulu ocağına asker yetiştirmek üzere acemioğlanı mektebi haline getirilmiş, geri kalan kısmı da yine saray olarak kullanılmaya devam edilmiştir. 1571-72 de Mimar Sinan tarafından tamir edilerek, 1582’de Feridun Bey ile Ayşe Sultanın düğünleri burada yapılmıştır. 1585’te bir tamir daha gören saray İbrahim Paşaya tahsis edilmiştir. Daha sonra 1645’te Yusuf Paşa, 1648’de Telli Haseki’ye verilen saray, 1652’de çıkan bir yangında tamamen yanmıştır. 1720’de Nevşehirli Damat İbrahim Paşa tarafından tamir veya yeniden inşa ettirilmişse de 1742’de tekrar yanmış ve bir daha tamir ettirilmemiştir.
Daha sonra saraya bağlı bazı binalar, çeşitli hizmetler için kullanılmıştır.Çevresindeki binaların bir kısmı da tamir ettirilerek tapu dairesi, cezaevi ve askeri hizmetler binası olarak faydalanılmıştır. Esas saray bölümü son yıllarda tamamen restore edilmiş ve 1983 senesinde Anadolu Medeniyetleri Sergisi için kullanılmıştır.Serginin sona ermesinden sonra saray, Türk-İslam Eserleri Müzesi haline getirilmiştir.