Gromiko, küçük bir çarlık memuruydu. Gazetecilikle işe başladı, daha sonra Minsk Tarım Enstitüsü Tarım İktisadi bölümünden mezun oldu ve 1931'de Komünist Partiye katıldı. 1936'da da Lenin Enstitüsü'ne devam ederken Ekonominin Problemleri isimli önde gelen bir gazetenin yazı işlerinde çalıştı.
1939'da M.M.Litvinov, V.M.Molotov'un yerine dışişlerinde görev almasıyla, Gromiko nisbeten önemli bir görev olan bakanlığın Amerika bölümüne tayin edildi. Altı ay sonra da Washington'a Litvinov'a yardımcı gönderildi ve 1943'te Sovyetlerin en genç elçisi olarak ABD'de göreve başladı. İkinci Dünya Savaşının Tahran, Yalta ve Potsdam Konferansına katıldı ve Sovyetleri temsil etti. Bu konferanslar Birleşmiş Milletlerin doğuşuna sebeb oldu. Daha sonra 1946'da bakan yardımcısı ve Sovyetlerin, Birleşmiş Milletlerin Güvenlik Konseyi'ndeki daimi temsilcisi oldu. 1948'de bu görevden ayrılarak Moskova'ya döndü. 1952'de kısa müddet için İngiltere'ye elçi tayin edildi ve Komünist Partisinin Merkez Komitesine aday üye seçildi.Stalin'in ölümünden sonra Moskova'ya döndü ve Molotov'un kabinesinde görev aldı. 1961'de Merkez Komitesine tam üye oldu ve bundan sonra Sovyetlerin Batı ile yaptığı görüşmelerde daima önemli rol oynadı. 1973'te Politbüroya üye seçildi. Leonid Brejnev ve Yuri Andropov dönemlerinde yerini korudu ve tecrübesinden dolayı Çernenko döneminde hakim bir yere sahib oldu. Sovyetlerde görevini en uzun müddet koruyan bir idarecidir. Brejnev devresinde mutedil olan Gromiko, Çernenko idaresinde batıya karşı sert tutum alan biri olarak ortaya çıktı. Çernenko'nun ölümünden sonra, başa geçen Gorbaçov döneminde dışişleri bakanlığından alınıp, devlet bakanlığına tayin edilerek, daha pasif bir makama getirildi.
2 Temmuz 1989'da öldü.
