Sedefadası da, diğer İstanbul adaları gibi Bizans döneminde sürgün yeri olarak kullanılmıştır. Adanın en önemli sürgünlerinden biri, miladi 857 yılında adaya gönderilen Patrik Ignatios`tur. Ignatios, 10 yıl adada çeşitli işkencelere maruz kalarak yaşadıktan sonra, 867 yılında yeniden patrik seçilmiştir.
Ada, 1850`de Tophane Müşiri Damad Ferid Paşa`nın mülkiyetine geçmiş, paşa adaya zeytin ağaçları dikmiş ve sebze yetiştirmiştir. Paşa`nın ölümü üzerine ada bakımsız kalmış, 1. Dünya Savaşı sırasında da adanın tüm ağaçları kesilmiştir. İstanbul`un işgali sırasında müttefiklerin eline geçen Yavuz Zırhlısı uzun süre buraya demirlemiştir.
Ferid Paşa`nin torunları, adayı seçkin insanların yaşadığı bir yerleşim yeri yapmaya çalışmış, bu amaçla bir konut kooperatif kurmuş, binlerce ağaç diktirmiş ve villalar inşa ettirmişlerdir.