Постъпил вероятно в близкия манастир „Св. Димитрий“ под самия връх Руен, където приел монашество, но не останал за дълго, защото имал влечение към уединен живот. Подвизавал се на много места, докато най-после се установил в прекрасната рилска планинска пустиня, където завършил земния си живот и основал манастир, който съществува вече над 1000 години.
Св. Йоан Рилски е извършил много чудеса през живота си и подир смъртта си: изцерил и изцерява от разни болести и помогнал в затрудненията им на много хора. Преди смъртта си преподобни Иван отишъл на пълно уединение в „горната постница“, гдето съставил своето „завещание“ – прочутия „Завет на Св. Йоан Рилски“.
Св. Йоан Рилски умира на 18 август 946 г., като е погребан в притвора на малката църква в каменна гробница, която се е запазила до днес. Около 980 г. нетленните му мощи по негово откровение били открити и пренесени в Средец (София). През 1469 г. цар Асен пренася мощите на светеца в столицата Търново, а не след дълго те са пренесени в Рилския манастир, където почиват и до днес.
