Перед костелом Святых Петра и Павла расположена небольшая площадь. С площади выходит Штульцова улица, названная в честь вышеградского пробста Вацлава Штульца. В самом начале этой улочки, на углу с кладбищем, стоит часовенка в стиле неоренессанс с барочной статуей святой Людмилы, созданной Михаэлем Яном Брокоффом в начале XVIII века. Столетие с лишним статуя простояла в общественном саду "На Слупи", откуда Штульц перенес ее в Вышеград.
Противоположная, западная сторона Штульцовой улицы образована крепостной стеной Вышеграда. В стене есть небольшая часовенка в виде ниши, в которой находится каменная статуя Святого Себастьяна. Изначально скульптура стояла в доме "У Гарантов", на Рытиржской улице, а когда дом сносили, каноник Карлах попросил переместить изваяние на нынешнее место. Барочная статуя первой половины XVIII века изображает святого Себастьяна в момент мученической смерти – привязанный к дереву, он служит мишенью для императорских лучников и пронзен тремя стрелами.