Yayıncılık alanında meslek eğitimi yapan Rau bir dönem gazetecilik de yaptı. 1952`den beri politikanın içinde olan Rau, 1957 yılında SPD`ye katılan Johannes Rau bir yıl sonra Kuzey-Ren Vestfalya Eyaleti`nin parlamentosuna seçildi. 1967`de parti meclis grup başkanlığına, üç yıl sonra da eyalet hükümeti üyeliğine getirildi. Bilim ve Araştırma Bakanı olarak eyalet yüksek okullarının modernleştirilmesine önemli hizmeti geçti. 1978 yılında Almanya`nın en kalabalık nüfusa sahip eyaletinin başbakanı olan Johannes Rau popülaritesi sayesinde art arda üç kez partisine mutlak çoğunluğu kazandırdı. Sosyal Demokrat Parti`nin başbakan adayı olarak girdiği 1987 genel seçimlerinde Helmut Kohl`e yenildi ve eyalet başbakanlığı görevini sürdürdü.
1993 yılında Sosyal Demokrat Parti`nin genel başkanlığına seçildi. 1994 yılındaki cumhurbaşkanlığı seçimine aday gösterildi ama Roman Herzog`un bu göreve seçilmesiyle devletin en yüksek makamına yükselme hedefini ertelemek zorunda kaldı.
1995 eyalet seçimlerinde Sosyal Demokratlar %50 sınırının altında kalınca Johannes Rau, Yeşiller partisi ile akıl izdivacı yapmak zorunda kaldı. Ama koalisyon bünyesindeki sürtüşmelere meydan vermedi. Yaklaşık 20 yıl eyalet başbakanlığı yaptıktan sonra 1998`de bu görevden çekildi. 1999 yılında cumhurbaşkanlığına seçildi.
