Через 2-3 года о молодом пустыннике Сергии заговорили люди. Один за другим жители стали приходить к нему ради духовного совета, а потом нашлись желающие разделить его подвиг. Сергий сначала не соглашался принимать их, но, тронутый их мольбами, решил отказаться от своего уединения. Так сложилась небольшая община, которая сначала ограничивалась «апостольским числом» - двенадцатью иноками.