В старину Рига была защищена от внешних опасностей крепостными укреплениями и бастионами. Рижане любили прогуливаться по крепостным валам и любоваться панорамой города. В середине XIX века укрепления были срыты. На месте Песчаного бастиона создали искусственную насыпь, которую в народе прозвали Бастейкалнс, или Бастионной горкой. Именно здесь теперь находится один из самых красивых парков Риги. Его проектировкой занимался знаменитый мастер садовых ландшафтов Георг Фридрих Фердинанд Куфальдт. В парке разместили павильон, неподалеку от него позже поставили часы «Лайма».
Бастионную горку и зелёные насаждения вокруг неё стали использовать как своего рода лечебно-профилактический курорт. Рижские доктора рекомендовали своим пациентам определенное количество раз подниматься и спускаться с горки для лечения чистым воздухом и физической активностью.
Постепенно осенние дожди размыли тропинки Бастионной горки, и взбираться по ним стало труднее, чем раньше. Латыши даже стали называть свой любимый парк «Улиточной горкой», так как подняться на холм теперь стало возможно лишь в соответствующем темпе.
Всё исправил ландшафтный дизайнер из Германии, который проложил новые дорожки. Теперь они спускались с горы не по прямой, а по спирали. Такая планировка парка сохранилась до сих пор. Чуть позже парк украсили искусственные водопады.
В 1887 году на вершине Бастионной горки открыли кафе с фортепианной музыкой, а на склонах разбили цветочные клумбы. Из окон кафе открывался изумительный вид на Ригу. Парк стал излюбленным местом встречи влюблённых, которые назначали друг другу свидания около часов «Лайма», а потом прогуливались по Бастионной горке. Поднявшись наверх, можно было посидеть на скамейке, полюбоваться закатом и понаблюдать за жизнью горожан внизу.
В 1930-х годах парк Бастионная горка приобрёл дурную репутацию. Деревья и кусты сильно разрослись, а фонарей для освещения территории было недостаточно. По ночам в парке стали часто грабить прохожих, иногда завязывались драки между компаниями, а городской канал и перекинутый через него мостик привлекали самоубийц. Здание кафе сильно обветшало, и его снесли.
После Второй мировой войны Бастионную горку привели в порядок и украсили скульптурами. Среди них самая любимая рижанами работа скульптора Гайде Грундберги «Жеребёнок». Наверное, нет ни одного выросшего в Риге ребёнка, который бы не сидел в детстве на его отполированной бронзовой спине.
К мостику через городской канал теперь почти каждый день приезжают новобрачные, чтобы сфотографироваться и прикрепить к ограждению мостика символизирующий крепость их брака замок. В городском канале живут лебеди, утки и даже бобры. Летом по воде можно покататься на речном трамвайчике или в лодке.