При взгляде на это величественное здание не возникает сомнений, что это – резиденция монархов. Элегантный неокласскический фасад центрального корпуса - работа архитектора сэра Уильяма Чамберса. Правое и левое крыло в классическом стиле возвели в викторианскую эпоху. Мощеный двор, украшенный статуями и фонтанами, появились еще позже, но он образует с дворцом очень гармоничный ансамбль.
Первое здание на этом месте построено по приказу человека не королевской крови. Но его племянник был принцем Уэльским. После смерти Генриха VIII, Эдуард Сеймур воспользовался ситуацией. Он объявил себя регентом при малолетнем наследнике. Для солидности, дядя Эдуарда VI присвоил себе титул герцога Сомерсета и решил обзавестись соответствующей резиденцией. Земля на набережной Темзы принадлежала разным владельцам, среди которых была королевская семья, несколько герцогов и маркизов. Сеймур объединил территорию, очистил от особняков и церквей и повелел возвести дворец. Подобная нескромность не понравилась влиятельным противникам герцога. Сомерсет был заключен в Тауэр, однако строительство не прекратилось. Вышедший из тюрьмы герцог недолго наслаждался свободой и великолепным местом жительства. Бывший регент, попытавшийся вернуть себе власть, был обвинен в измене и снова заключен под стражу. Сеймур лишился титула и потерял голову на Тауэрском холме, а дворец, носящий герцогское имя, перешел во владение королевской семьи. Яков I подарил Сомерсет-хаус своей супруге, Анне Датской. Королева наняла самого популярного архитектора того времени Иниго Джонса. Будучи поклонником Андреа Палладио, зодчий придал дворцу благородный классический вид.
В 1698 году в доме умер Оливер Кромвель. Версий о причинах смерти было множество. Кто-то утверждал, что лорд-протектор Англии погиб от малярии, кто-то считал, что его отравили политические противники. Некоторые верили, что его душу унес ураган, пронесшийся в ту ночь над Лондоном. Кромвеля похоронили с пышностью, но покоился в земле лорд-протектор недолго. Взошедший на трон Карл II не простил ему казнь своего отца. Тело было извлечено из могилы, повешено, а затем четвертовано.
В XVIII веке в Сомерсет-хаусе проходили приемы и балы-маскарады, собиравшие весь цвет английского общества. Впрочем, попасть на них могли не только обладатели голубой крови, а все, кто мог позволить себе входной билет. В XIX столетии помещения дворца заняли государственные организации. Здесь регистрировались браки, смерти и рождения. Сегодня в Сомерсет-хаус располагается Институт искусства Курто и несколько художественных галерей. Коллекция работ импрессионистов и постимпрессионистов пользуется особой популярностью. Здесь представлены картины Моне, Ван Гога и Сезанна. Дворцовый двор долгое время был закрыт для публики. После реставрации здесь появились 55 фонтанов и рестораны. Летом во дворе проводятся концерты, а зимой заливается общественный каток.