Дворец Харрах был изначально построен в конце XVII века по заказу Фердинанда Бонавентуры Графа Харраха. Для постройки дворца был приглашен итальянский архитектор Доминико Матинелли. Он выстроил дворец в барочном стиле, с широким, песочного цвета фасадом и белыми полуколоннами. По моде того времени над входом во дворец находится небольшой балкон, откуда можно было в дни балов видеть всех подъезжающих гостей.
Семейство Харрах относится к австрийскому аристократическому роду чешского происхождения. Представители этой семьи на протяжении нескольких веков служили при дворе правящей династии Габсбургов. Они были губернаторами Нидерландов, выполняли дипломатические поручения своих правителей. Потомки рода живы и по сей день, в середине XX столетия они вернулись в Вену из Чили.
Дворец, в первоначальном его виде, к сожалению, в XVI веке сгорел при пожаре. Пожар вспыхнул в шотландском монастыре и быстро охватил площадь Фраюнг. В результате, от дворца остался только фундамент.
Интересно и само название площади, куда дворец выходит своим фасадом. Название ее происходит от немецкого слова "фрай", что означает "свобода". Площадь относилась к территории монастыря, расположенного тут же, напротив дворца. А каждый монастырь в средние века обладал правом скрывать в своих стенах и на территории беглых преступников. Таким образом, беглецу достаточно было попасть на эту площадь, и он автоматически выходил из-под юрисдикции официальных властей и становился недоступным для своих преследователей. При этом он оказывался добровольно заточённым в самом монастыре, потому что за его пределами он оставался преступником. Такие люди, как правило, оставались монастырскими "трудниками", их посылали заниматься самой тяжелой работой. Так что приобретенная свобода была очень относительной.
Реконструировали дворец позже, в XVIII веке, при участии архитектора Хильдебранда, построившего в то время по заказу аристократов многие венские дворцы. Например, дворец Бельведер, по заказу военачальника, принца Евгения Савойского, дворец Ауэрсберг, дворец Лаксенбург, по заказу императорского дома, и, как венец карьеры, церковь святого Петра.
Современный дворец Харрах принадлежит музею Истории Искусств. Музей использует его, как выставочный центр. Но во дворец можно запросто войти, чтобы полюбоваться внутренним убранством. Все интерьеры прекрасно сохранились, многое восстановлено. Главным украшением, без сомнения, являются печи. В жилых помещениях никогда не топили, опасаясь за сохранность паркета и легковоспламеняющихся гардин. Топили в подвале, и наверх, в печи, расположенные в комнатах и коридорах, поступал теплый воздух, который и нагревал помещения. Шелковые обои, венецианские зеркала, люстры и мозаичный паркет — атрибуты повседневной жизни богатых аристократов — по-прежнему завораживают посетителей дворца Харрах.
На другой стороне площади на стене шотландского монастыря можно увидеть барельеф. На нем изображен герцог Генрих Язомирготт. Столь сложная прозвище происходит от сокращения немецкой фразы "Я зо мир готт хельфе", что переводится, как "да помоги мне Господь". Говорят, это была обычная присказка набожного герцога. Сам он происходил из первой правящей в Австрии династии — династии Бабенбергов и был одним из 19 детей Леопольда III. К своему счастью, Генрих был одним из старших сыновей, почему и получил в управление земли после смерти родителя. Личность Генриха имеет для Вены особое значение, поскольку именно он провозгласил этот город столицей и распорядился заложить первый камень в основание самого большого собора в Австрии — собора Святого Штефана.