Одноэтажное здание из красного кирпича в русско-византийском стиле, размером 25х15 м, с двухэтажным бытовым пристроем 7,5х9 м., сбоку от основного здания находится барочный флигель. Построено в 1890-х годах на Острожном бугре.

В XVII–XVIII вв здесь располагалась тюрьма. Это самое большое здание города. В 1837 г. в ней содержалось 1402 арестанта.

После смерти главы семейства в начале XX в. вдова Аполлинария Ильинична и сын Вадим передали особняк городу для организации туберкулёзного диспансера, а сами поселились во флигеле.

В советское время здание сохранило функцию туберкулёзного диспансера,было оштукатурено и окрашено в белый цвет.

С 2010 года в здании размещается республиканский арбитражный суд.