Участок, на котором находится дача, поменял много хозяев. Среди них была придворная белошвейка мадам Бильо, президент Адмиралтейств-коллегии граф Иван Григорьевич Чернышев и князь Василий Васильевич Долгоруков. Князь пригласил для строительства дачи архитектора Смарагда Шустова, который за несколько лет до этого построил на острове здание театра. Как только строительство было закончено, Долгоруков продал дачу принцу Петру Георгиевичу Ольденбургскому.
Позже дом был немного перестроен, к нему добавились пристройки с восточной и западной сторон и каменный служебный флигель. Была создана ограда со стороны Малой Невки в виде коротких древнеримских мечей со звеньями из копий.
Один из приемов, проходивших в особняке на Каменном острове, описывает французский писатель Адольф де Кюстин, посетивший в 1839 г. Россию. "Принцесса Ольденбургская пожелала устроить вечер в честь бракосочетания великой княжны Марии, но, не имея возможности соперничать роскошью с придворными балами, она решила организовать импровизированный бал на открытом воздухе на своей загородной вилле. Вся русская знать и сановные иностранцы собрались здесь, гуляя по аллеям сада, в далеких боскетах которого были скрыты оркестры музыки. До одиннадцати часов вечера танцевали на открытом воздухе, затем все перешли в маленький дворец".
С этим дворцом связана и печальная история. Дочь хозяина особняка, Екатерина Ольденбургская, умерла в 20 лет от затяжной болезни. По свидетельствам современников, Екатерина была забавна и остроумна, любила от души посмеяться и танцевать на балах. Кроме того, ей не отказывали в красоте и живом уме. Принцесса полюбила цесаревича Николая Александровича, сына Александра II, и в свете шли даже разговоры о том, что она может стать его невестой. Николай был престолонаследником, и в случае свадьбы принцесса могла бы стать императрицей! Однако, переговоры между матерью принцессы - Терезией Ольденбургской и императрицей Марией Александровной зашли в тупик. Непременным условием брака был переход принцессы в православие, на что мать ответила категорическим отказом. Вскоре Екатерина узнала, что императрица нашла для сына новую невесту - датскую принцессу Дагмар. Вскоре после этого удара Екатерина заразилась скарлатиной от своей младшей сестрёнки. Измученная душевными страданиями, она не могла противостоять болезни и начала медленно угасать. Новым потрясением стала смерть цесаревича в Ницце. Неожиданно для всех во время своей заграничной поездки Николай заразился туберкулёзным менингитом и умер. Екатерина была настолько плоха, что даже не смогла принять участие в похоронах.
"Каждый вечер подносят к окну
Мое кресло. Я вижу дороги.
О, тебя ли, тебя ль упрекну
За последнюю горечь тревоги!
Не боюсь на земле ничего,
В задыханьях тяжелых бледнея
Только ночи страшны оттого,
Что глаза твои вижу во сне я."
Близким другом девушки была старушка-крестьянка Аксинья Ивановна Худякова, которая наблюдала за хозяйством дворца Ольденбургских на Каменном острове. Худякова очень ее любила, и умела разгонять тоску, как никто другой. Однако, ни участие друзей, ни заботы родителей не спасли Екатерину - в 19 лет она умерла.
В 1920-е года в ходе уплотнения жилья дача принца Ольденбургского была перепланирована под жилые квартиры. Появление большого количества новых жильцов привело к тому, что большая часть отделки интерьеров была утрачена. Во время пожара сгорел купол дома, позже он восстановлен.
После Великой Отечественной войны здесь было Общежитие студентов 1-го Медицинского института. После пожара здание стояло заброшенным, затем его и вовсе разобрали. В первой половине 1990-х годов началось восстановление, но дом так и стоит заброшенным до сих пор.