John Adams’den beri bütün ABD başkanları burada oturmuşlardır. Geniş bir park içinde yaklaşık altı hektar büyüklüğünde bir arazide bulunmaktadır. Binanın merkezi ve orijinal kısmı Virgina kum taşından inşa edilmiş olup, birçok yeni değişikliğe rağmen 18. asırdaki Georgian stilini muhafaza etmektedir. Washington’daki resmi binalardan biri olup, 52.5 m uzunluğunda ve 25.5 m genişliğinde 2.5 katlı bir binadır.
1814’te İngiliz kuvvetleri tarafından Washington’daki bütün amme binaları yakılmıştı. Beyaz Sarayda yakılan binalar arasındaydı. James Hoban’ın nezareti altında Beyaz Saray yeniden inşa edildi ve 1817 senesinde oturmaya hazır hale geldi. Başkan James Monreo tarafından Fransa’dan ithal edilen mobilya ve mefruşatla imparatorluk stilinde yeniden döşendi. Binanın yanık dış duvarları beyaza boyandı. Bundan dolayı binaya “Beyaz Saray” dendiği yanlış bir zan olarak yayıldı. Hakikatte bina ilk inşa edildiği andan itibaren bu isim ile anılmıştır. İlk banyo teşkilatı Beyaz Saray’a 1877’de ilave edildi.
1949’da Truman’ın idaresinde Beyaz Saray ikamet için emniyetsiz bulundu. Tekrar inşa için bir plan hazırlandı. Dış duvarlar bırakılarak binanın bütün iç dekoru çıkarıldı. Çelik ve beton bir çerçeve üzerinde yeniden inşa edildi. Orijinal ahşap, mermer ve dekoratif alçı işleri gibi kısımların muhafazasına büyük ehemmiyet verildi. Orijinal kat planı muhafaza edilmekle beraber modern tesisat ve imkanlar ilave edildi.
