Первые храмы Капыстичей были деревянные. На древнем селище помещики Воропановы обосновали родовую усадьбу, против которой, на высоком береговом мысу. Выстроили каменный храм в 1848 году. Выложен он был из красного кирпича и побелен, покрыт был железом, полы из дуба. Территория церкви была обнесена каменной оградой с коваными решетками, существовала сторожка и церковно – приходское училище.
В 30 – х годах храм был частично разрушен и устроен там колхозный склад. Колокольня и ограда храма были разобраны, оконные проемы заложены, с северной стороны устроены ворота.
В 1998 году Введенский храм начал свое восстановление, настоятелем был назначен иерей Андрей Ткаченко. В 2000 году компания «Русский дом» г. Курска взяла под свою опеку восстанавливающийся храм. Был восстановлен внешний облик церкви, заново построена и оборудована колокольня, международным центром колокольного искусства были отлиты и смонтированы колокола на звонницу.

В 1997 г. общиной был куплен магазин, который впоследствии переоборудован под храм. На определённом протяжении времени в нем совершалось богослужение. В 2005 г. общине было передано другое здание, бывшего магазина. Кирпичное здание, где совершаются богослужения, находится в хорошем состоянии.

Нынешний храм Вознесения Господня был построен в 1866г. Но в г. Рыльске церковь посвященная столь важному двунадесятому празднику существовала очень давно. История же нынешнего храма Вознесения Господня начинается в 1866 г. В клировых ведомостях Вознесенского храма за 1915- 1917гг. значится, что он построен в 1866 году «тщанием купцов: Ивана Стефановича Деменкова, Никифора Гавриловича Каменева на проценты со вклада коммерции советника Григория Ивановича Шелехова и на пожертвования храмостроителей и других благотворителей». Что касается престолов то в дореволюционную эпоху, центральный был освящен во имя Вознесения Господня (что и дает название всему храму в целом), а боковые во имя Знамения Божьей Матери и святого великомученика Никиты. Клировые ведомости сообщают, что при Вознесенском храме «в отдельном каменном здании церковь теплая, во имя трех Вселенских святителей Василия Великого, Григория Богослова и Иоанна Златоуста.
Храм Вознесения отличается своим внешним видом и замечательной архитектурой от других церквей, построенных в Рыльске. Его основание и сам храм устроен в виде корпуса, по образу ковчега. Видимо, не случайно зодчие остановились на выборе этого плана в память великому мореплавателю. Семиглавый храм красив и величествен со всех сторон. Внутри храма иконостас был выполнен из кирпича и облицован деревянными резными наличниками, поясками, карнизами, полуколонами. Царские врата с головами ангелов, весь был покрыт позолотой. В западной стороне храма резными наличниками был разукрашен и клирос.
Церковь была оштукатурена и окрашена известью в белый цвет. Крыша и купола, покрыты луженной сталью, отливали светом темного серебра. Золоченные луковки и кресты, устремленные к поднебесью, придавали красоту и величие храму.
В тридцатых годах Вознесенскую церковь стали использовать под склад горкомхоза. В 1942 году, с разрешения немецкого командования, начали восстанавливать порушенный храм. Отремонтировали полы, алтарь, иконостас. Обтерли на стенах роспись, произвели окраску. Богослужения проходили до марта 1943 года. после освобождения Рыльска, в церкови разобрали часть деревянных полов, сорвали наличники и царские врата алтаря. Храм снова стал использоватся под склад стройматериалов, а для удобства подъезд с северной стороны сделали широкий пролом в ограде.
В 1985 году поставили наружные деревянные леса, покрыли крышу и произвели частичный ремонт штукатурки фасада. Храм решили реконструировать и использовать в качестве картинной галереии. При реконструкции планировалось разобрать кирпичный алтарь, переделать притвор, устроив в нем раздевалку, а колокольню использовать как складское помещение.
А в октябре 1990 года храм бал передан в лоно Русской православной церкви. С 1991 года в Вознесенском храме возобновились Богослужения, после освящения его иерейским чином. Далее начались ремонтно – восстановительные работы в храме по украшению и обретению благолепия. Центральный и боковые приделы храма были расписаны. В замен старой обветшавшей кровли куполов они были покрыты нитротитаном, изготовлены и доставлены из г. Волгодонска новые кресты на купола центрального купола и колокольни храма. В 2000 году был отлит и установленн гипсовый иконостас, затем покрыт сусальным золотом. В этом же году были отлиты и установлены гипсовые киоты на стены и колоны храма. В последствии были написаны и установлены в киоты иконы,в колличесве 53 штук. В декабре 2007 года храм был освящен Высокопреосвященнейшим Германом Архиепископом Курским и Рыльским.
С сентября 1991 года действует церковно – приходская детская воскресная школа, которая продолжает свою деятельность и поныне.

Церковь во имя Покрова Пресвятой Богородицы построе­на в Рыльске в 1822 году на средства купцов Севастьяна и Федора Шелеховых. Церковь расположена в центральной части города, на углу улиц Выходцевской и Преображенс­кой (К.Либкнехта и Ленина). Священник Покровской цер­кви протоиерей Константин Бокадоров в «Историческом очерке г. Рыльска к 100-летию Рыльского полка» в 1907 году писал: «Покровская церковь построена рыльскими куп­цами Севастианом и Феодором, детьми Шелиховыми».
Покровская церковь величаво возвышается над всеми строениями Рыльска. В плане церковь покоится на крестовидном фундаменте. Стрех, сторон украшают и прида­ют грандиозность зданию колонны. С восточной, ал­тарной стороны колоннада примыкает к стене. Краси­во выглядят фронтоны, портики, украшенные рез­ным карнизом. Кровля ку­пола была украшена золо­тыми небесными звездами. Украшают храм, в отличие от других церквей, сверка­ющие позолотой барабан и луковка с крестом. С запад­ной стороны храма возвы­шается красавица коло­кольня, к стенам которой примыкают полуколонны.
Для более полного представления о деятельности и благосостоянии Покровской церкви один интересный исторический документ. В отчетной ведомости Покровской церкви Рыльского уезда Курской епархии за 1915 год, в которой говорится: « Покровская церковь имеет каменное здание, на таком же фундаменте с колокольней, крыша железная, перекрыта в 1864г.
В 1884г. оштукатурена и покрашена, с 1895г. отапливается. В 1905г. была обновлена.
Покровская церковь - одна из всех шестнадцати церк­вей в городе была оставлена советской властью для прове­дения служб. Но и она закрывалась на недолгое время в 40-х годах. Во время закрытия были разобраны полы, сняты наличники, поцарапаны росписи на стенах. В 60-х го­дах был запрещен колокольный звон.

Священник Владимир Викторович Букин, в связи с рукоположением в сан пресвитера, освобожден от должности клирика Преображенского храма г.Курска и назначен клириком Михайловского храма с. 2-е Засеймье Мантуровского района Курской области.

Священник Александр Сергеевич Багаев по совместительству временно назначен исполняющим обязанности настоятеля Покровского прихода с. Журавлино Октябрьского района Курской области.

Священник Алексей Владимирович Чеботарев, согласно прошению, освобожден от должности настоятеля Покровского прихода с.Журавлино Октябрьского района Курской области и почислен за штат Курской епархии с правом перехода в Железногорскую епархию Курской митрополии.

Протоиерей Василий Витальевич Афанасьев назначен настоятелем Введенского храма пос. Тим Курской области.

Протоиерей Василий Феодосьевич Жданов  освобожден от совмещения должности настоятеля Введенского храма пос. Тим Курской области.

Диакон Константин Александрович Бондарев назначен штатным клириком Преображенского храма г.Курска.