31 Temmuz 1923'de diplomat Münir Ertegün ve Hayrunisa Rüstem’in ikinci oğlu olarak İstanbul’da doğdu. Babasının 1935 yılında Washington’a Türkiye Büyükelçisi olarak atanmasıyla birlikte Amerika’ya taşındılar.
Felsefe eğitimi gören Ahmet Ertegün, 1945 yılında babasının ölümü ile ailesinin Türkiye'ye dönerken, ağabeyi Nesuhi Ertegün ile birlikte Amerika’da kaldı. İki kardeş 1947 yılında aile dostu bir dişçiden borç aldıkları 10 bin dolar ile Atlantic Records adlı plak şirketini kurdular.
Atlantic Records aynı yıl (1947) ilk albümlerini çıkardı. İlk olarak Atlantik Müzik stüdyolarında 21 Kasım 1947’de Harlemaies’in "The Rose of the Rio Grande" albümü kaydedildi. 1949 yılının Nisan ayında çıkarılan Stick Mcghee’in "Drinkin’ Wine Sop-Dee-O-Dee" albümü, 1 milyondan fazla satışı ile Atlantic’in ilk hiti oldu. 1955 yılında Elvis Presley’e kontrat imzalaması için 25 bin dolar teklif edildi, ancak kontrat RCA plak şirketine satıldı.
Ray Charles, Aretha Franklin, Ella Fitzgerald, Miles Davis, gibi isimlere kasetler yapan Ertegün, Frank Zappa, Stevie Wonder, Rolling Stones, Bee Gees, Led Zeppelin, Genesis, Emerson Lake and Palmer, Bette Midler gibi isimlerin üne kavuşmasında büyük rol oynadı. Craig David, Metallica gibi başarılı müzisyenleri bünyesinde bulunduran şirket, kısa zamanda dünyanın en önemli plak şirketlerinden biri haline geldi. Atlantic Records’ın halen 155 anlaşmalı sanatçısı var.
Bu arada Eartha Kitt'in yorumu ile "Üsküdar'a gider iken" şarkısının melodisinin ABD kültürünün bir parçası haline gelmesini sağladı.
Grammy’ler dahil çeşitli müzik ödülleri kazanan Ahmet Ertegün, Cleveland kentinde merhum ağabeyinin anısına Nasuhi-Ahmet Ertegün Rock and Roll Şöhretler Müzesi’ni kurdu. 2004 yılında New York’ta inşa edilen Time Warner ikiz gökdeleninde de "Ertegün Caz Şöhretleri Müzesi"nin sponsoru oldu.
Ölümü
29 Ekim 2006’da New York’ta bir Rolling Stones konseri sırasında ayağının kayması sonucu düşerek başını vuran Ertegün hastaneye kaldırılmıştı. Prof. Dr. Mehmet Öz’ün yöneticiliğini yaptığı New York Presbyterian Hastanesi’nde yapılan ilk müdahalesinden sonra yoğun bakıma alınmıştı. 14 Aralık 2006 günü vefat etti.Müzik dünyasının en ünlü iş adamlarından, TGRT’nin yönetici Ahmet Ertegün, Üsküdar’da büyükdedesi Şeyh İbrahim Edhem Efendi tarafından kurulmuş olan Özbekler Tekkesi’ne gömülecek.