Родился и получил воспитание на Сицилии, затем вступил в Солунский монастырь, где погрузился в самый строгий аскетизм. Посвящённый в пресвитеры, он переселился в Константинополь. Император Византии Лев Армянин, иконоборец, преследовал его и заключил в тюрьму. Получив свободу, Иосиф устроил монастырь при храме Златоуста, но императором Феофаном снова был лишён свободы и сослан в Херсонес. Возвращённый оттуда императрицей Феодорой, был назначен скевофилаксом патриаршей кафедры. Патриарх Фотий называл его «отцом отцов», «ангелом Божиим» и сделал его духовником всего константинопольского клира. Одарённый поэтическим талантом и проникнутый религиозным одушевлением, Иосиф всю свою деятельность посвятил составлению богослужебных песнопений, и, в частности, канонов. В «Ada sanctorum» (под 4 апреля) говорится, что им составлено до 300 канонов — больше, чем кем-либо другим из церковных песнописцев. Не все эти его творения известны в печати и даже в рукописях. Лучшие из них — каноны покаянные.