Babası maden işçisiydi. Doğduğu köyde öğrenim gördükten sonra, ailesiyle birlikte Donets Kömür Havzasındaki madencilik ve sanayi merkezi Yuzovka'ya geçti. Burada 15 yaşında boru tesisatçısı olarak çalışmaya başladı. 1917 Devriminden önce işçi teşkilatlarında vazife aldı. 1918'de Rusya Komünist (Bolşevik) Partisine üye oldu. Ocak 1919 da Kızıl Orduya girdi. 1922'de Yuzovka'da yeni açılan bir işçi okuluna girerek ortaöğrenimle birlikte parti eğitimi gördü. Okuldaki parti komitesinin sekreterliğine getirildi. 1925'te Yuzovka'daki Petrovski-Mariinsk ilçesinin parti sekreteri oldu. Aktif çalışmaları sebebiyle parti ileri gelenlerinin dikkatini çekti. Moskova'da toplanan 14. Parti Kongresine katıldı. 1929'da Moskova'daki Stalin Sanayi Akademisine kabul edilerek metalürji öğrenimi gördü. Parti içindeki çalışmalarına da devam eden Hruşçov 1933'te Moskova Bölge Komitesi İkinci Sekreterliğine yükseldi. 1935'te Moskova parti teşkilatının birinci sekreteri oldu. Komünist Partinin 17. Parti Kongresinde, Merkez Komitesinin tam üyeliğine seçildi. Aynı yıl Yüksek Sovyet Prezidyumu yedek üyeliğine getirildi. 1938'de politbüro aday üyesi oldu. Ertesi yıl politbüronun tam üyesi oldu. 1944'te Ukrayna Meclisinin başkanlığına getirildi. 1946'da meydana gelen büyük kıtlık sırasında, gıda maddelerinin dağıtımında Stalin'in isteği doğrultusunda hareket etmediği için bir müddet gözden düştü. 1949'da Moskova bölgesi parti başkanlığına yeniden getirildi. Aynı zamanda Komünist Parti Merkez Komitesi sekreteri oldu. 1949-53 döneminde diğer parti idarecileri gibi sık sık Stalin'in siyasi oyunlarıyla karşılaştı. 1953'te Stalin'in ölümünden sonra Komünist Partinin birinci sekreterliğine getirildi. Devleti idare eden Başbakan Melenkov ile bir müddet rekabet etti. 1955'te Melenkov'u başbakanlıktan uzaklaştırarak yerine kendi adayı Nikolay A. Bulganin'i getirdi.
Mayıs 1955'te ilk dış gezisini Bulganin'le birlikte Yugoslavya'ya yaptı. Daha sonra, Cenevre, Afganistan ve Hindistan'a yaptığı gezilerde dışa dönük ve esnek bir politika izlediğini gösterdi. Şubat 1956'da Moskova'da toplanan 20. Parti Kongresinde; iktidarın tek kişide toplanmasını tenkid ederek, Stalin'i acımasızlık, hoşgörüsüzlük ve iktidarı kötüye kullanmakla suçladı. Stalin'in yanılmaz lider imajını yıkmaya ve Leninist modele dönmeye yönelik köklü bir Stalincilikten uzaklaşma kampanyası başlattı. Binlerce siyasi tutukluyu serbest bıraktı. Stalincilikten arınma hareketi Doğu Avrupa'daki sosyalist ülkelerde de önemli gelişmelere yol açtı. Polonya ve Macaristan'da ayaklanmalar meydana geldi. Doğu Avrupa'daki bu gerginlikler Hruşçov'e karşı muhalefetin güçlenmesine sebep oldu. 1957'de Hruşçov'in vazifeden uzaklaştırılması gündeme geldi. Prezidyumda yapılan bir oylama aleyhine neticelendiyse de vazifede kalmayı başardı. 1958'de başbakanlığı da üstlendi. 1959'da 21. Parti Kongresinde kapitalist ülkelerle barışçı bir yarış içinde olmayı teklif etti. ABD'ye yaptığı ziyaret sonrasında Mayıs 1960'ta iki ülke liderinin Paris'te yaptığı zirveye katıldı.
1961'de ABD Başkanı John F. Kennedy'le Viyana'da yapılan zirve toplantısına katıldı. Bu görüşmeden kısa süre sonra Berlin Duvarı inşa edildi. 1962'de Küba'ya orta menzilli füzeler yerleştirmeye girişti. ABD ile uzlaşılması neticesinde füzeleri kaldırmayı kabul etti. Bu uzlaşma sebebiyle Komünist Çin ile SSCB'nin arası açıldı. Çin lideri Mao Zedong (Tse Tung) tarafından sert bir şekilde tenkid edilen Hruşçov ihtiyaç maddelerinin karşılanması yönünde halktan gelen baskıları ve aydınların düşünce hürriyetinin genişletilmesi yönündeki isteklerini dikkate aldı. Ancak idaredeki hakimiyetinin azalacağı endişesiyle rahatsız oldu. Bu sebeple ilim ve fikir adamlarına karşı sert tedbirlere yöneldi. 1958'de Boris Pasternak'ın Nobel Edebiyat Ödülünü almasına izin vermedi.
Dış politikada, hem sosyalist hem kapitalist ülkelerle ilişkilerin genişlemesi için çaba gösteren Hruşçov, Sovyet yurttaşlarının turist olarak ülke dışına çıkmasına ilk defa imkan sağladı. Konvansiyonel silahları azaltarak, nükleer füzeleri geliştirme çabaları sebebiyle Sovyet askeri yetkililerinin sert muhalefetine hedef oldu. Uyguladığı tarım politikasında başarısız oldu. 14 Ekim 1964'te yapılan Merkez Komitesi toplantısında, ileri yaşı ve bozulan sağlığı sebebiyle istifa eden Hruşçov parti birinci sekreterliği ve başbakanlık vazifelerinden ayrıldı. Hayatının son yıllarını Moskova'daki evinde sessiz olarak geçirdi.
Geniş kitlelere zulmeden, dünyayı kana boyayan, insanların vicdanlarına kilit vurmaya çalışan, öldükten sonra da lanetle anılan diğer diktatörler gibi o da 11 Eylül 1971'de Moskova'da öldü. Ölümü halka 48 saat geçtikten sonra haber verildi. Devlet töreni yapılmadan Moskova'da Novodeviçi Manastırı Mezarlığına gömüldü.