Döneminin en başarılı oyuncularından olan Conen, 1934 FIFA Dünya Kupası`ndaki performansı ile halen Miroslav Klose ile birlikte altın ayakkabı alan iki Alman oyuncudan biridir.
Kariyerin başında 1. FC Saarbrücken, VfB Stuttgart ve FC Mulhouse takımlarında forma giydi. Daha sonra 1934 yılında Werder Bremen`e transfer oldu. Alman Milli Futbol Takımı formasını 1934 - 1942 yılları arasında 28 kez giydi ve bu maçlarda toplam 27 gol attı. 21 yaşında geçirdiği kalp rahatsızlığı ve 2. Dünya Savaşı nedeniyle kariyeri sık sık kesilmek zorunda kaldı. Futbolu bıraktıktan sonra Wuppertaler SV takımında teknik direktörlük yaptı.