Karl ve Theo Albrecht orta sınıf bir aileye mensuptular. Babaları önce bir madende, sonrada bir fırında çalışmıştır. Annelerinin ise küçük bir bakkal dükkanı vardı. Karl bir şarküteride çalışırken, Theo da annesinin dükkanında çıraklık yaptı. Karl aynı zamanda 2. Dünya Savaşı sırasında Alman ordusunda da bulunmuştur. Savaş sonrası iki kardeş annelerinin işini devraldılar (1946). İlk Aldi (Albrecht-Discount) mağazasını 1961 yılında açtılar.
Daha sonra Aldi`nin yönetimi ikiye bölündü ve Karl daha karlı olan Aldi Süd`ü (Güney=, Theo da Aldi Nord`u (Kuzey) aldı.
Karl Albrecht, kendini toplum hayatına pek karışmadığından hakkında çok az şey biliniyor.