Henüz 16 yaşındayken Londra`da elmas ticaretiyle uğraşan Dunkelsbuhler&Company`de çalışmaya başladı.1902`de Güney Afrika Cumhuriyeti`nin Kimberley kentine göç etti ve burada Dunkelsbuhler`ın temsilcisi oldu.1917`de Anglo American Corporation of South Africa, Ltd.`yi banker J.P. Morgan`ın desteğiyle kurduktan iki yıl sonra da Consolidated Diamond Mines of South West Africa, Ltd`yi kurdu. Bu şirket sayesinde büyük servet edinerek, o dönemde dünya elmas ticaretini denetimi altında tutan De Beers Consolidated Mines, Ltd.`nin yönetimini ele geçirdi. 1929`da Kuzey Rodezya`daki (bugün Zambiya) zengin bakır yataklarını işletmek için Rhodesian Anglo American Corporation`ı kurdu.Daha sonraki yıllarda Güney Afrika Cumhuriyeti`ndeki Oranje Vrystaat`ta bulunan altın yataklarını işletmeye açtı. Oppenheimer 1930`da da The Diamond Corporation Ltd.`yi kurdu.
1912`den 1915`e değin Kimberley belediye başkanı olarak görev yapan Oppenheimer 1924-1938 arasında da Güney Afrika Birliği Parlamentosu üyeliğinde bulundu.