На Штульцовой улице стоит единственное двухэтажное здание, дом №3 – Старое пробство. Раньше на его месте, за оградой кладбища был виноградник с домиком. Капитул - совет священников, выселенный военным ведомством в подградье, постоянно стремился обратно на Вышеград, к своему собору. Военные, будучи католиками, не могли посягнуть на уничтожение костела, хотя он и находился в боевой крепости. Удобный случай вернуться капитулу представился в 1707 году, во время перестройки костела. Причиной стала необходимость постоянного наблюдения за строительством. Указав, что ответственное лицо не может несколько раз в день ходить по крутому склону, декан капитула добился у военных разрешения построить себе небольшой красивый дом рядом с костелом. После смерти декана дом занял Вышеградский пробст - настоятель. Пробсты жили здесь до 1874 года, когда было построено Новое пробство.
Сад, окружающий двухэтажный дом, прилегает к ограде Вышеградского кладбища. Главный фасад здания выходит на Штульцову улицу. Во всех помещениях плоские потолки, слева от входа винтовая лестница с деревянными ступенями. Стены центрального парадного зала украшены росписями-обманками, создающими иллюзию разных архитектурных элементов, и дополнены орнаментами. В углах зала изображены аллегории четырех стихий. В 1960 году объект занимала государственная организация, которая побелила стены поверх фресок. В 1995 году фрески были освобождены от побелки и отреставрированы.