1943 yılında Samsun'da doğan Karayalçın, ilk ve orta öğrenimini Ankara Mimar Kemal İlkokulu ve Ortaokulunda, Lise öğrenimini ise Ankara Gazi Lisesinde yapmıştır. ODTÜ'de 1963-1964 döneminde İngilizce hazırlık eğitimi gördü, 1964 yılında girdiği Ankara Üniversitesi Siyasal Bilgiler Fakültesi İktisat-Maliye Bölümünden 1968 yılında mezun oldu.
DPT'de uzman yardımcısı ve uzman olarak çalıştı, İngiltere'de kalkınma ekonomisi üzerine lisans derecesi aldı. 1978 - 1979 yıllarında Köy İşleri Bakanlığında Müsteşar Yardımcılığı görevini yürüttü.
Kent-Koop'un kurucuları arasında yer alan Karayalçın, Kent Koop'ta sırasıyla mali sekreterlik, genel sekreterlik ve 1981 yılından 1991 yılı Mayıs ayına kadar da Genel Başkanlık görevlerini üstlendi.
Karayalçın, 1986-1987 yılları arasında Uluslararası İskan Konseyi Yönetim Kurulu üyeliği, kurulduğu tarih olan 1988 yılından 1993 yılı Eylül ayına kadar da kısa adı TÜRKKENT olan Türkiye Kent Kooperatifleri Merkez Birliği'nin Genel Başkanlığı görevlerini sürdürdü.
1986 yılında İngiltere'de Dünya Konut Yılı Ödülünü alan Karayalçın, aynı yıl Nokta Dergisi tarafından yılın işadamı seçildi. 1987 ve 1991 yıllarında Türkiye'nin dış tanıtımına yaptığı katkılar nedeniyle TÜTAV ödülüne, 1993 yılında Fransız Hükümeti tarafından Legion d'honneur nişanına layık görüldü.
26 Mart 1989 tarihinde yapılan yerel seçimlere önseçimi kazanarak Sosyal Demokrat Halkçı Parti'nin Ankara Büyükşehir Belediye Başkanı adayı olarak giren Karayalçın, seçildiği bu görevini Eylül 1993 tarihine kadar sürdürdü.
Karayalçın Sosyal Demokrat Halkçı Parti'nin 11-12 Eylül 1993 tarihinde yapılan 4. Olağan Kurultayında Genel Başkan seçildi, T.C. 50. Hükümetinde Başbakan Yardımcısı, Devlet Bakanı ve Dışişleri Bakanı olarak 1994 - 1995 tarihleri arasında görev yaptı.
18 Nisan 1999'da yapılan yerel seçimlerde Ankara Büyükşehir Belediye Başkanlığı'na adaylığını koydu fakat kazanamadı. Haziran 1999'da CHP kurultayında başkanlığa adaylığını koydu fakat burada da başarısız oldu. Daha sonra CHP'den istifa etti ve Fikri Sağlar ile birlikte Solda yeni bir oluşum için yola koyuldu. Mayıs 2002'de SHP adında yeni bir parti kurdu.