В повести рассказывается о том, что Иоанн однажды заключил беса в сосуд с водой. Когда бес стал умолять выпустить его из заключения, Иоанн согласился это сделать, но лишь при условии, что бес в течение ночи свезёт его в Иерусалим, к гробу господню, и обратно. Превратившись в коня, бес отвозит Иоанна в Иерусалим и, после того как архиепископ помолился у гроба господня, доставляет его, утомлённый и опозоренный, обратно в ту же ночь в Новгород, предупредив при этом, чтобы он никому не рассказывал о происшедшем, под страхом, что бес наведёт на него «искушение»: он будет осуждён как блудник, много поруган и посажен на плот на Волхове.
Однако Иоанн однажды в беседе «со честными игумены и со искуснейшими иереи и с богобоязнивыми мужи» рассказал о поездке на бесе в Иерусалим, но так, как будто это случилось не с ним, а с неким другим, известным Иоанну человеком. И с того времени «попущениим божиим нача бес искушение на святого навадити». Жители города неоднократно стали замечать, что из кельи архиепископа выходит блудница; городские же начальники, приходившие в келью к Иоанну за благословением, видели там женское монисто, сандалии и женскую одежду. И народ и начальники, смущённые и оскорблённые всем виденным, подумали, что неприлично быть блуднику на святительском престоле, и уговорились изгнать Иоанна из Новгорода. Когда народ направился к его келье, бес вышел оттуда в образе девушки. Напрасно гнались за ней — поймать её не удалось. Иоанна, недоумевавшего о причине шума у его кельи, собравшийся народ всячески оскорблял и, не слушая его оправданий, решил посадить на плот и пустить вниз по Волхову. Дьявол стал радоваться, но «божья благодать» и молитва святого превозмогли дьявольское ухищрение: плот, никем не подталкиваемый, поплыл не вниз, а вверх по реке, и бес был посрамлён. Раскаявшийся народ в сопровождении духовенства отправляется вверх по Волхову и, прося прощения у Иоанна, уговаривает его вернуться. Иоанн возвращается в Новгород.
Повесть использовала легендарные мотивы о поимке в сосуде беса и о езде на бесе. Оба мотива получили довольно значительное распространение в литературе Востока и Запада. Первый мотив, видимо, восходит к сказанию о Соломоне, запечатавшем бесов в сосуде. Он нашёл отражение и в византийской житийной литературе, в частности в патериковой, в повести об авве Лонгине, вошедшей в «Скитский патерик». В русской оригинальной литературе он присутствует, кроме повести об Иоанне Новгородском, также в житии Авраамия Ростовского и в повести о старце, просившем руки царской дочери, откуда он перешёл в народную сказку2. Второй мотив — езда на бесе — встречается чаще всего в западных легендах, хотя близкие параллели к нему находим и в византийской патериковой литературе. Его мы находим в повести Гоголя «Ночь перед Рождеством». В знакомой уже нам сказке о Борме рассказывается о том, что лев, в благодарность Борме за то, что он спас его от змея, домчал его на себе в три часа в родной город, притом, так же как и бес в повести об Иоанне, заклиная его никому не говорить об этой поездке. Но Борма похвастался поездкой на льве и только благодаря хитрости избежал мести со стороны разгневанного льва.
Легенды об Иоанне Новгородском возникли, нужно думать, после открытия его мощей (1439 г.). В виде отдельных эпизодов они вошли в житие Иоанна Новгородского, составленное в конце 70-х или в начале 80-х годов XV в., видимо, Пахомием Логофетом.
