Часовня в честь иконы Божией Матери «Всех Скорбящих Радость» – прибольничная, построена в 1913 году рядом с больницей на Вознесенской улице (Луначарского). Имела прекрасную внешнюю отделку и паперти под наружным навесом на фигурных литых стойках и ажурной, кузнечной работы крышей. Над куполом церкви поднимался небольшой шпиль с позолоченным шаром и крестом.
  Сейчас о полном завершении ремонтно-восстановительных работ говорить еще рано, но 6 ноября, в день празднования иконы Божией Матери «Всех скорбящих Радость», в часовне за долгое безмолвие вновь звучали слова молитвы.
  По окончании Божественной литургии, совершаемой в Вознесенском храме, благочинный Рыльского церковного округа протоиерей Владимир Ефремов, духовенство церковного округа и прихожане городских храмов с радостью и трепетом собрались на общую молитву в часовне. Здесь был совершен молебен с акафистом Божией Матери «Всех скорбящих Радость». Перед началом молебного пения часовня была окроплена святой водой. Пришедшие на молитву с духовной радостью ставили свечи, вспоминая, что именно многие из них пришли в этот мир в здании бывшей больницы, расположенной недалеко от часовни.
   По завершении молебна отец Владимир обратился к собравшимся с пастырским словом, отметив, что сегодня значимый день, сегодня в стенах часовни за долгие годы запустения были вознесены молитвы к Царице Небесной о помощи всем православным христианам, пожелал всем пришедшим на общую молитву здравия, душевного спасения и благополучия, помощи и заступления Пресвятой Богородицы.