Ovaj papa, koji se od davnine štuje kao mučenik, bio je rodom iz Toskane, sin nekoga Konstansa. Na papinskom prijestolju naslijedio je 13. kolovoza 523. papu Hormisdu. Velikim dijelom Italije, s prijestolnicom u Raveni tada je vladao istočnogotski kralj Teodorik. On je prijekim okom gledao dobre odnose između pape i bizantskoga cara. Prva žrtva napete situacije bio je filozof Ivan Boecije, koji je na kraljevskom dvoru dugo vremena bio obasut najvišim častima i odlikovanjima. Optužen je zbog tobožnje veleizdaje i pogubljen god. 524. Pod isti mlinski kamen političkih sukoba bio je uvučen i papa Ivan I.
Na Istoku je, naime, bizantski car Justin htio u svome carstvu silom iskorijeniti arijanstvo. Zato je izdao ukaz kojim se tražilo da se arijancima oduzmu sve crkve, a oni da prijeđu na katolicizam. Smatrajući se zaštitnikom arijanaca, kralj Teodorik je pozvao k sebi u Ravenu papu Ivana I. i prisilio ga da s poslanstvom otputuje u Carigrad. Poslanstvo su, uz papu, sačinjavali senatori i biskupi, među njima i ravenski biskup Ecclesio. Zadaća je poslanstva bila posredovati kod cara Justina da povuče svoje dekrete protiv arijanaca. Papa je u Carigradu baš na sam Božić primljen s najvećim počastima. Bizantski kler i puk postupao je s njime kao s "Petrom" te u sav glas davao oduška svojoj radosti što se u njihovoj sredini nalazi rimski biskup.
Papa je ostao u Carigradu sve do Uskrsa pa je u crkvi Svete Sofije latinskim jezikom odslužio svečano blagdansko bogoslužje. Car Justin je čak htio da po drugi put bude okrunjen carskom krunom, i to ovaj put od samoga Pape. Za uzvrat je obećao vratiti arijancima njihove crkve. Vrativši se u Ravenu, Papa je naišao na neprijateljski stav prema sebi. Kralj Teodorik nije nikako bio zadovoljan njegovim poslanstvom pa ga je bacio u tamnicu. Ljetopisac knjige Liber pontificalis piše da je Papa u zatvoru brzo umro, a on ga smatra mučenikom. Smrt se zbila 18. svibnja 526.
Prema onome što pripovijeda ravenski biskup Maksim, Papa je bio uz prisutnost brojnog klera i puka svečano sahranjen, a za vrijeme sprovoda jedan je opsjednuti, dotaknuvši se Papina tijela, bio oslobođen od đavla. Četiri godine kasnije Papino je tijelo 27. svibnja preneseno u Rim i sahranjeno u predvorju bazilike Svetog Petra. Na grob su mu postavili mramorni natpis na kojem piše: "Gospodnji vrhovni svećenik koji pade kao Kristova žrtva."
Za vrijeme svoga kratkog pontifikata (523-526) papa je Ivan I. obnovio velike rimske bazilike, groblja mučenika Nereja i Ahila na Ardeatinskoj cesti te groblje Sv. Feliksa i Adaukta na Ostijskoj cesti. On je uveo i novu brojidbu godina po Kristu, koju je sastavio monah Dionizije Mali. Blagdan mu se prije reforme kalendara slavio 27. svibnja, na dan prijenosa njegova tijela iz Ravene u Rim, a danas se slavi na smrtni dan, to jest 18. svibnja.