1923年12月2日在河南省濮陽縣出生，23歲時加入耶穌會。

1955年在菲律賓碧瑤晉鐸，1980年任天主教花蓮教區主教，於1991年6月任天主教高雄教區主教，並多次擔任臺灣地區主教團主席。

1990年起三度以書面方式及一次口頭方式，向教宗請辭教區牧職，但教宗期望他繼續為教會服務而未獲准。

1998年獲教宗若望保祿二世擢升為樞機，成為臺灣第一位樞機。

2006年1月5日，教廷公佈，教宗本篤十六世批准83歲的單樞機退休。同年4月，本篤十六世擢升天主教香港教區主教陳日君為樞機，即意味著陳日君“代理”單樞機的職責。

72歲時罹患前列腺炎二期，2006年8月，發現罹患了肺腺癌，受臺灣各界關注。在休養一年後，2007年11月起，單樞機進行走遍全臺灣7個教區的“生命告別之旅─人生思維巡迴講座”，透過與各界人士對談的方式，向社會大眾講述出單樞機自身一路走來的信仰軌跡。

2009年，因致力於世界和平及族群和諧，並以自身病痛轉化為鼓勵人心的力量，獲頒第五屆“總統”文化獎“和平獎”。

2011年5月13日，於天主教失智老人基金會為失智老人舉辦的慈善募款餐會上，單樞機使用28年的公事包以新台幣200萬元拍出。6月，單國璽原訂返鄉探親，但其臺胞證未獲大陸官方簽准而未能成行。

2012年，繼宋美齡之後，單國璽成為第2位輔仁大學榮譽董事長。5月，醫療團隊發現癌細胞已經轉移到腦部及骨骼，8月20日再度因為肺炎住院。22日上午還親自主持彌撒，晚間病情惡化，8月22日晚6時42分（臺灣時間）因急性肺炎引發器官衰竭，病逝於新店耕莘醫院。