Budapeşte`de doğan Jozsef, zor bir çocukluk ve ilkgençlik geçirdi.Fakir bir ailenin üç çocuğundan biriydi. Babası bir sabuncu, annesi ise hizmetçiydi. Babası, şair üç yaşındayken evi terk etti. Annesinin de hastalanması üzerine Macar Çocuk Esirgeme Derneği tarafından Ocsöd köyüne evlatlık verildi. Orada 7 yaşına kadar yaşadı. 14 yaşında annesini kaybetti.
Bu dönemle birlikte kendini okumaya ve yazmaya veren Jozsef`in ilk şiirleri yerel gazetelerde görünmeye başladı. 17 yaşında ilk şiir kitabı olan "Güzellik Dilencisi"ni yayımladi. Liseyi dışarıdan bitirerek, üniversitede edebiyat ve felsefe derslerine devam etmeye başladı. İkinci şiir kitabı "Haykıran Ben Değilim" 20 yaşında yayımlandı. Kitapta yer alan bir şiir yüzünden okuldan uzaklaştırıldı. Önce Viyana Üniversitesi`ne, daha sonra Paris`te Sorbonne`a devam etti.
1930 yılında Macaristan Komünist Partisi`ne üye oldu. Ülkede faşizmin ağırlığını hissettirdiği dönemde parti çalışmalarında aktif olarak görev aldı. 1931`de ruhsal sorunlar yaşarken yayımlanan "Devir Gövdeyi, Ağlayıp Sızlanma" kitabı sakıncalı bulunarak hemen toplatıldı. 1932`de "Kenar Mahallede Gece", 1936`da "Çok Acıyor" adlı kitapları çıktı.
Şizofreni teşhisi koyulan Jozsef 1937 yılında kendini bir trenin altına atarak intihar etti.