Üç yanı deniz olan ve tarihi kale duvarlarının içersinde yer alan cezaevine ev sahipliği yapan kale yaklaşık 4000 yıl önce bölgenin hakimi Gaskalılar tarafından yapılmıştır. Grek, Pontus, Roma, Bizans, Selçuklu ve Osmanlılar kendi dönemlerinde kaleyi korumuş ve güçlendirmişlerdir. Kalenin cezaevi olarak kullanımına ait en eski belgeler ise 1568 yılına dayanmaktadır. Evliya Çelebi seyahatnamesinde bu zindandan şöyle bahsetmiştir;``"Büyük ve korkunç bir kaledir. 300 demir kapısı, dev gibi gardiyanları, kolları demir parmaklıklara bağlı ve her birinin bıyığından 10 adam asılır nice azılı mahkumları vardır. Burçlarında gardiyanlar ejderha gibi dolaşır. Tanrı korusun, oradan mahkum kaçırtmak değil, kuş bile uçurtmazlar." ``
İç kalenin resmi olarak zindana dönüşmesi ise 1887 yılında olmuştur. O dönem Sinop Mutasarrıfı Veysel Paşa yeni binalarla birlikte bir de hamam eklemiştir. 1939 yılında da Çocuk hapisanesi olarak kullanılmak üzere bir bina daha yapılmıştır.
Kırım Hanı Devlet Giray, Sabahattin Ali, Refik Halit Karay, Mustafa Suphi, Ahmet Bedevi Kuran,Ruhi Su, Burhan Felek, Zekeriya Sertel ve Nazım Hikmet bu cezaevinde yatmış bazı isimlerdir. Cezaevini anlatan şiirler Sabahattin Ali`nin kaleminden de çıkmış ve bunlardan "Aldırma Gönül" popüler olmuştur.