Heinrich F�rst von Mansfeld-Fondi beauftragte Lukas von Hildebrandt 1697 mit dem Bau eines Gartenpalais mit Orangerie und Lustgarten.
Nach seinem Tod kaufte F�rst Adam Franz zu Schwarzenberg 1716 den unfertigen Bau und lie� denselben ab 1720 von Bernhard Fischer von Erlach fertigstellen.

Daniel Gran malte zwischen 1722 und 1726 die Deckenfresken des Kuppelsaales und des Marmorsaales. Ab 1727 diente das Palais der Familie Schwarzenberg als Wiener Sommerresidenz.
Im Zweiten Weltkrieg wurden die Fresken des Kuppelsaales vernichtet, die des Marmorsaales blieben gl�cklicherweise erhalten.
Zwischen 1950 und 1957 wurde das Palais auf Initiative von Heinrich Prinz zu Schwarzenberg renoviert. Seit den fr�hen 60er-Jahren des 20. Jahrhunderts wird das Palais als Hotel gef�hrt.