全勝優勝を飾った1971年7月場所前後に急性虫垂炎を発症、夏巡業の最中にその痛みに耐えきれずに途中休場するなど容態が芳しくなく、早急な手術が必要だった。しかし横綱としての責任感と、同年9月場所後に大鵬の引退相撲が控えており、手術して本場所を休場すれば大鵬の引退相撲にも出場できなくなるため、痛み止めの薬を刺し続けながら9月場所に強行出場した。この場所は肋骨を折ったにも関わらず12勝を挙げたが、これが結果として玉の海の生命を縮めることとなってしまった。
1971年10月2日の大鵬引退相撲では、最後の横綱土俵入りで太刀持ちを務め、翌日に行われた淺瀬川健次の引退相撲にも出場した。出場後直ちに虎の門病院へ入院して虫垂炎の緊急手術を受けたが、腹膜炎寸前の危険な状態だったという。その時点での手術後の経過は順調で、10月12日に退院する予定だった。なお、この時点で11月場所の出場に関しては未定だったこともあり、本人も「退院後すぐに（相撲）は取れないが、（巡業先では）土俵下から挨拶でもしよう」と親しい人たちには伝えていたという。
ところが、退院前日の10月11日早朝、起床して洗顔を終えて戻ったところ、突然「苦しい」と右胸部の激痛を訴えてその場に倒れた。その時、既にチアノーゼ反応が起きており、顔は真っ青だったという。意識不明の状態で医師団の懸命な治療が行われ、一時は快方しかけたものの、その甲斐もなく11時30分に死亡が確認された。27歳没。
その急逝後、玉の海の遺体を病理解剖した結果、直接の死因は虫垂炎手術後に併発した急性冠症候群及び右肺動脈幹血栓症（現在の言い方では術後の肺血栓）であることが判明し、特に右の主管肺動脈には約5cmの血の塊が詰まっていたという[9]。玉の海のような力士体型（肥満体）の人間が、手術後に血栓症を発症しやすいのは現代では常識であるが、その当時はあまり知られておらず十分な予防策も取られていなかったものと考えられる。これから全盛期を迎えようとするのは確実だったため、誰もがその死を惜しんだ。
惜しまれる死
余りにも突然の玉の海の死に周囲の人々は狼狽し、ショックを隠し切れなかった。最大のライバルで親友だった北の富士は、巡業先の岐阜県羽島市で「玉の海関が亡くなりましたよ」との一報を聞いた時、最初は「解説の玉の海さんが亡くなったのか?」と思い確認を取らせた。関係者が「現役横綱の玉の海関のことです」と伝えても、北の富士は「ふざけるのもいい加減にしろ!」と立腹し、全く信じなかったという。しかしその後、亡くなった人物が間違いなく親友の横綱・玉の海本人であるという事実が判った時、北の富士は「むごい…。島ちゃん（玉の海の愛称）があまりにも可哀想だ…」と、その場で人目もはばからず号泣した。
逝去当時、玉の海の死に顔を見た人々は、口を揃えて「無念の形相だった」と語っていた。付け人の一人が、肩幅の広い（これが最大の武器で、相手に上手を与えなかった）玉の海の納棺された姿を見て「横綱、窮屈そうだな…」と言い、その場にいた人々は涙が止まらなかったという。
あの当時の体形とか体格がちょうどいい気がする。今は大きいだけだしなぁ。
