Babası Polonyalı, annesi Rus olan Rokosovski 1896`da Varşova`da doğmuştur. 1914`te gönüllü er olarak Çarlık ordusuna girdi ve terfi ederek Rusya`nın en eski ağır süvari alaylarından birinde en genç subaylardan biri oldu. İki defa yaralandı ve üç defa nişan aldı. 1917`de, Ekim devriminden sonra devrimin saflarına yine bir asker olarak geçti.
1937`de, Moskova yargılamaları sırasında Rokosovski de tutuklandı. İki buçuk yıl Gulag`da, çalışma kamplarında kaldı. Mart 1940`da, savaş bütün Avrupa`yı sarmışken Stalin`in özel emriyle serbest bırakıldı.
Yenilmek üzere olduğu savaşta alayı ile Alman kuvvetlerini ani bir saldırı ile yendi. Cephelerdeki yenilgi ve geri çekilme durumunu bilmediği için, üstlerine Varşova`ya yürüme izni istedi fakat geri çekilme emri aldı.
Stalingrad`da Alman ordusuna karşı kazanan Rokosovski, Don Cephesi Kuvvetleri Genel Komutanı oldu. 27 Ocak`da Alman 6. ordusu ve Friedrich Paulus kuşatılmıştı. Rokokovski`nin kuvvetleri daha sonra Kursk`da savaşmıştır ve Almanları yenmiştir. Daha sonra Varşova ayaklanmasında dışardan yardım almadan Almanları yenmiştir. 1949`da Polonya`da Genelkurmay Başkanı ve Savunma Bakanı oldu, ve daha sonra 1952`de başbakan yardımcısı oldu. 1956`da, Gomuka`nın Polonya Komünist Partisi`nin lideri olmasından sonra bütün görevlerinden uzaklaştırıldı. Daha sonra Moskova`ya çağrıldı ve 1956-1958 arasında iki defa Sovyet Savunma Bakanı yardımcılığı yaptı.
1968`de Moskova`da öldü. Birçok ödül ve madalya aldı, Sovyetler Birliği Mareşali ilan edildi.