香淳皇后の叔父にあたる朝香宮鳩彦王がパリ遊学後2年をかけて建設し、1947年の皇籍離脱まで暮らした邸宅だった。この土地は白金御料地と呼ばれ、近世には高松藩松平家の下屋敷があった。明治期には陸軍の火薬庫が一時置かれ、後に皇室財産となっている。
宮邸は朝香宮一家が退去した後、吉田茂によって外務大臣公邸として、1947年から1950年にかけて使用された。1950年には西武鉄道に700万円で払い下げられ、1955年4月に白金プリンス迎賓館として開業し、国賓・公賓来日の際の迎賓館として1974年まで使用された。1974年5月からプリンスホテルの本社として使用された後、1981年12月に139億円で東京都に売却され、1983年（昭和58年）に都立美術館の一つとして一般公開される。
2011年より改修工事のため長期休館を経てリニューアルし、2014年11月22日より一部再開。2018年3月21日、西洋庭園やレストランも含めて全面開館した