1697 yılında Prens Heinrich Franz Belvedere Sarayı`nı da inşaa etmiş mimar Johann Lukas von Hildebrandt`ı,Schwarzenberg Sarayı için görevlendirmişdir. Sarayın inşaası sırasında Prens Heinrich Franz`ın beklenmedik ölümü sarayın yarım kalmasına sebeb olmuşdur. Yapımı bitmemiş sarayı 1716 yılında Prens Fürst Adam Franz Karl von Schwarzenberg satın almış ve yapımı için mimarlar Johann Bernhard Fischer von Erlach ve Joseph Emanuel Fischer von Erlach adlı kardeşleri görevlendirmişdir saray ancak 1728 yılında bitirilebilmişdir.
II. Dünya Savaşı`ın da saray düşen bombalar nedeni ile büyük hasara uğramış ama savaşın bitmesi ile tekrar eski haline kavuşmuşdur.
Bugün sarayın bir bölümü 5 yıldızlı otel bir başka bölümüde İsviçre Büyükelçiliği olarak kullanılmaktadır ve saray hala Schwarzenberg Ailesi`nin malıdır.
