Нынешний храм Вознесения Господня был построен в 1866г. Но в г. Рыльске церковь посвященная столь важному двунадесятому празднику существовала очень давно. История же нынешнего храма Вознесения Господня начинается в 1866 г. В клировых ведомостях Вознесенского храма за 1915- 1917гг. значится, что он построен в 1866 году «тщанием купцов: Ивана Стефановича Деменкова, Никифора Гавриловича Каменева на проценты со вклада коммерции советника Григория Ивановича Шелехова и на пожертвования храмостроителей и других благотворителей». Что касается престолов то в дореволюционную эпоху, центральный был освящен во имя Вознесения Господня (что и дает название всему храму в целом), а боковые во имя Знамения Божьей Матери и святого великомученика Никиты. Клировые ведомости сообщают, что при Вознесенском храме «в отдельном каменном здании церковь теплая, во имя трех Вселенских святителей Василия Великого, Григория Богослова и Иоанна Златоуста.
Храм Вознесения отличается своим внешним видом и замечательной архитектурой от других церквей, построенных в Рыльске. Его основание и сам храм устроен в виде корпуса, по образу ковчега. Видимо, не случайно зодчие остановились на выборе этого плана в память великому мореплавателю. Семиглавый храм красив и величествен со всех сторон. Внутри храма иконостас был выполнен из кирпича и облицован деревянными резными наличниками, поясками, карнизами, полуколонами. Царские врата с головами ангелов, весь был покрыт позолотой. В западной стороне храма резными наличниками был разукрашен и клирос.
Церковь была оштукатурена и окрашена известью в белый цвет. Крыша и купола, покрыты луженной сталью, отливали светом темного серебра. Золоченные луковки и кресты, устремленные к поднебесью, придавали красоту и величие храму.
В тридцатых годах Вознесенскую церковь стали использовать под склад горкомхоза. В 1942 году, с разрешения немецкого командования, начали восстанавливать порушенный храм. Отремонтировали полы, алтарь, иконостас. Обтерли на стенах роспись, произвели окраску. Богослужения проходили до марта 1943 года. после освобождения Рыльска, в церкови разобрали часть деревянных полов, сорвали наличники и царские врата алтаря. Храм снова стал использоватся под склад стройматериалов, а для удобства подъезд с северной стороны сделали широкий пролом в ограде.
В 1985 году поставили наружные деревянные леса, покрыли крышу и произвели частичный ремонт штукатурки фасада. Храм решили реконструировать и использовать в качестве картинной галереии. При реконструкции планировалось разобрать кирпичный алтарь, переделать притвор, устроив в нем раздевалку, а колокольню использовать как складское помещение.
А в октябре 1990 года храм бал передан в лоно Русской православной церкви. С 1991 года в Вознесенском храме возобновились Богослужения, после освящения его иерейским чином. Далее начались ремонтно – восстановительные работы в храме по украшению и обретению благолепия. Центральный и боковые приделы храма были расписаны. В замен старой обветшавшей кровли куполов они были покрыты нитротитаном, изготовлены и доставлены из г. Волгодонска новые кресты на купола центрального купола и колокольни храма. В 2000 году был отлит и установленн гипсовый иконостас, затем покрыт сусальным золотом. В этом же году были отлиты и установлены гипсовые киоты на стены и колоны храма. В последствии были написаны и установлены в киоты иконы,в колличесве 53 штук. В декабре 2007 года храм был освящен Высокопреосвященнейшим Германом Архиепископом Курским и Рыльским.
С сентября 1991 года действует церковно – приходская детская воскресная школа, которая продолжает свою деятельность и поныне.