Длинное здание перед Вами никак не напоминает своим видом древнюю постройку. А история его началась ещё в Средние века. Первое каменное строение, возведённое на этом месте, принадлежало князю Константину Острожскому — выдающемуся литовскому государственному деятелю конца XV — начала XVI веков. Его построенный в готическом стиле дворец, по всей вероятности, был весьма скромен внутри. Обрывочные описания одного из его жилищ говорят о «некрашенных полах, насмоливанных лавках, простых окнах и необходимых изразцовых печах — вот и всё, чем мог похвастать самый могущественный и богатый человек Литвы».
Затем дом приобрёл другой литовский вельможа — Николай Христофор Радзивилл. Он имел примечательное прозвище — Сиротка. Говорят, будучи ребёнком, он с родителями оказался во дворце великого князя Литовского. Когда родители Николая отлучились, к нему подошёл сам великий князь и произнёс: «Ах, ты мой бедный всеми забытый сиротка!» — так и появилось у дворянина это забавное имя.
В конце XVII века особняк оказался в ведении университета, со временем расширившего его и объединившего единым фасадом несколько зданий. Так что теперь здесь был лекторий, анатомический театр, химическая лаборатория и даже профессорские квартиры. Во внутреннем дворе соорудили оранжерею и разбили ботанический сад. Сад не стал первым в Вильнюсе, тут уже существовали иезуитские аптекарские огороды. Новый ботанический сад, судя по всему, скорее служил для выращивания лекарственных трав, а не для любования цветами и редкими деревьями. Иезуиты помогали всем, невзирая на материальное или социальное положение страждущих. В те времена в Вильнюсе, да и вообще в Литве, ощущалась нехватка квалифицированных врачей. Иезуиты, а затем и профессора медицинской коллегии при Вильнюсском университете, были своего рода здешними лекарями.
Ботанический сад на улице Пилес основал в конце XVIII века французский учёный Жан Эммануэль Жилибер, он стал отцом литовской ботаники и написал первый труд, посвящённый флоре страны.
Жилибер был весьма опытным садоводом, он уже создал ботанические сады в Лионе и Гродно. Из последнего он перевёз множество растений в Вильнюс. Те, что предпочитали тёплый климат, разместили в наскоро сооружённой теплице, остальные высадили во дворе на специальных клумбах. Это был весьма смелый эксперимент. Хотя большинству растений не подходил относительно суровый климат Литвы, ботаник всё же решил рискнуть. Сегодня можно услышать утверждения, что на двухстах-трёхстах квадратных метрах Жилибер высадил около 2.000 видов растений, однако эксперты склонны считать это большим преувеличением. Дневников самого Жилибера не сохранилось, а в дошедших до нас записях его помощников и последователей говорится не более чем о пятистах видах зелёных насаждений.
Очень скоро места во внутреннем дворе дома стало не хватать, и ботанический сад перенесли в другой район. Там посадки заняли почти четыре с половиной гектара. При этом с улицы Пилес переехало лишь две сотни растений — остальные были доставлены сюда с близлежащих лугов, полей и лесов. Со временем он превратился в один из крупнейших и богатейших ботанических садов Восточной Европы.
В середине XIX столетия было принято решение о закрытии Вильнюсского ботанического сада. Часть растений была перевезена в Киев и Тарту, оставшиеся же быстро исчезли среди сорняков, и некогда роскошный сад превратился в небольшой парк.