严光本姓庄，后人避汉明帝刘庄讳改其姓，一名遵，字子陵，会稽余姚（今浙江余姚）人。少有高名，与刘秀同游学。
建武元年（25年），刘秀建立东汉，严光于是隐名换姓，隐居在桐庐富春江畔，每日垂钓，后此地为桐庐严子陵钓台。刘秀思贤念旧，就下令按照严光的形貌在全国查访他。齐地报称有一男子披着羊裘在泽中垂钓，刘秀怀疑那就是严光，即遣使备置安车、玄纁，三聘而始至京都洛阳。
司徒侯霸与严光是老相识，派人送信给严光。送信的人便对严光说：“侯公听说先生到了，一心想立刻就来拜访，限于朝廷的有关制度不便，所以不能来。希望能在天黑后，亲自来向你表达歉意。”严光不说话，将书简扔给送信的人。口授说：“君房先生：官位到了三公，很好。怀着仁心辅助仁义天下都高兴，拍马屁看人脸色办事可就要身首异处了。”侯霸收到信看过，封好了再上奏刘秀。刘秀笑着说：“这狂家伙还是老样子。”当天就亲自来到严光居住的馆舍，严光睡着不起来，刘秀就进了他的卧室，摸着严光的腹部说：“唉呀！子陵，就不能相帮着做点事吗？”严光又睡着不讲话，过了好一会儿，才睁开眼睛，看了好一会，说：“过去唐尧那样显著的品德，巢父、许由那样的人听说要授给官职尚且去洗耳朵。读书人本各有志，何以要到强迫人家做官的地步？”刘秀说：“子陵，我竟然不能使你作出让步？”于是便上车，叹息着离开了。
后来，刘秀又请严光到宫里去，谈说过去的交往旧事，两人在一起相处好多天。一次，刘秀随意地问严光：“我比过去怎么样？”严光回答说：“陛下比过去稍稍有点变化。”说完话便睡在一起。严光睡熟了把脚压在刘秀的肚子上。第二天，太史奏告，有客星冲犯了帝座，很厉害。刘秀笑着说：“我的老朋友严子陵与我睡在一起罢了。”后授谏议大夫，严光不肯屈意接受，于是归隐富春山（今浙江省桐庐县境内）耕读垂钓，后人把他垂钓的地方命名为严陵濑。
建武十七年（41年），朝廷一次征召他，严光仍不就。严光八十岁时，在家中去世。刘秀倍感哀伤，诏郡县赐钱百万、谷千斛安葬，墓在陈山（客星山）。

范晔：江海冥灭，山林长往。远性风疏，逸情云上。道就虚全，事违尘枉。
权徳舆：绝顶耸苍翠，清湍石磷磷。先生晦其中，天子不得臣。心灵栖颢元，缨冕犹缁尘。不乐禁中卧，郗归江上春。潜驱东汉风，日使薄者淳。焉用佐天下，持此报故人。则知大贤心，不独私其身。弛张有深致，耕钓陶天真。奈何清风后，扰扰论屈伸。交情同市道，利欲相纷纶。我行访遗台，仰古怀逸民。矰缴鸿鹄远，雪霜松桂新。江流去不穷，山色凌秋旻。人世自今古，清辉照无垠。
梁肃：当哀平之后，天地既闭，先生韬其光，隐而不见建武，反正云雷既定，先生全其道而不屈，消息治乱之际，卷舒夷旷之域，如云出于山，游于天复，归于无间，不可得而累也，则激清风耸，高节以遗后世，先生之道可见。
吴筠：汉皇敦故友，物色访严生。三聘迨深泽，一来遇帝庭。紫宸同御寝，玄象验客星。禄位终不屈，云山乐躬耕。
罗隐：岩岩而高者，严子之钓台也。寥寥不归者，光武之故人也。故人之道，何如睨苍。苔以言之，尊莫尊于天子，贱莫贱于布衣。龙争蛇蛰兮，风雨相遗。干戈载靡兮，悠悠梦思。何富贵不易节，而穷达无所欺，故得脱邯郸之难，破犀象之师，造二百年之业，继三尺剑之基者，其唯有始有卒者乎？下之世，风俗偷薄，禄位相尚。朝为一旅人，暮为九品官，而亲戚骨肉已有差等矣，况故人乎？呜乎！往者不可见，来者未可期，已而已而。
范仲淹：①先生，汉光武之故人也。相尚以道。及帝握《赤符》，乘六龙，得圣人之时，臣妾亿兆，天下孰加焉？惟先生以节高之。既而动星象，归江湖，得圣人之清。泥涂轩冕，天下孰加焉？惟光武以礼下之。在《蛊》之上九，众方有为，而独“不事王侯，高尚其事”，先生以之。在《屯》之初九，阳德方亨，而能“以贵下贱，大得民也”，光武以之。盖先生之心，出乎日月之上；光武之量，包乎天地之外。微先生，不能成光武之大，微光武，岂能遂先生之高哉？而使贪夫廉，懦夫立，是大有功于名教也。②云山苍苍，江水泱泱，先生之风，山高水长！
梅尧臣：不顾万乘主，不屈千户侯，手澄百金鱼，身被一羊裘。借问此何耳，心远忘九州。青山束寒滩，溅浪惊素鸥。以之为朋亲，安慕乘华輈。老氏轻璧马，庄生恶牺牛。终为蕴石玉，敻古辉岩陬。 
王安石：汉庭来见一羊裘，闵默还归旧钓舟。迹似蟠溪应有待，世无西伯岂能留。崎岖冯衍才终废，寂寞桓谭道被尤。回视苍生终不遇，脱身江海更何求。
陈鉴之：渭滨一叟发垂素，西伯与之无雅故。幡然为舍钓鱼竿。八极风云生指顾。先生少与文叔游，眼看日角兴炎刘。胡为掉头不肯住，垂纶依旧披羊裘。周文虚已师贤哲，光武规模欠宏阔。三公清坐台阁尊，先生回首桐江月。桐江月色无古今，白波苍嶂幽人心。
范成大：浮生有几，叹欢娱常少，忧愁相属。富贵功名皆由命，何必区区仆仆。燕蝠尘中，鸡虫影里，见了还追逐。山间林下，几人真个幽独。 谁似当日严君，故人龙衮，独抱羊裘宿。试把渔竿都掉了，百种千般拘束。两岸烟林，半溪山影，此处无荣辱。荒台遗像，至今嗟咏不足。
杨万里：客星何补汉中兴，空有清风冷似冰。早遣阿瞒移汉鼎，人间何处有严陵！
张轼：考子陵之言论风旨，亦非索隐行怪必欲长往而不返者。彼与光武少而想从，知其心度最为详也。以治谓光武欲为当时之治，则当时之治，则当时之人才固足办之，而无待乎已也。若欲进乎两汉之事，则又惧有未能信从者。不然，徒受其高位，享其尊礼之虚名，非子陵之本心也，故宁不就之。
钱时：污浊成风，节廉道丧，鼓一世于浮竞之途，贪荣冒而不知耻，于是而有人焉脱身势利，高蹈林泉，优游恬退以终其身，虽消息盈虚，与时偕行，未必合圣人之中道，而风节凛凛足以激颓波，厉污俗，此严光、周党之徒，后世犹有取焉。
徐钧：故人风谊可态忘，辞禄无嫌故态狂。仁义一言非小补，此身何必佐岩廊。
郑锐：先生少与光武同学，熟知光武为人，其曰“差增于往”盖有以觇其衷，度其后居无何，后废子易，不能保骨肉之爱，而何有于微时一布衣交。此则揣摩未形之恶，捐弃生平之好，非君子长者事，而先生忍为之呼？
宋濂（《苍云轩铭》）：子陵光武少相友善，使光武能任人，可为尽力。子陵何隐而不出，既出而决去哉？盖光武察察自用，其后宰辅多不以礼退，子陵预知其如此，故决然避去而不疑，以全故旧之义。此子陵所以为高也。苟徒以隐为高也，孰不可为子陵哉？
方孝孺：敬贤当远色，治国须齐家。如何废郭后，宠此阴丽华。糟糠之妻尚如此，贫贱之交奚足倚。羊裘老子早见几，独向桐江钓烟水。 
李昌祺：桐江连天兮秋水长，富春摩空兮烟树苍。客星兮寒芒，汉宫兮苔荒。彼争攀龙鳞兮铭勋旗常，此宁着羊裘兮垂纶沧浪。以足加腹兮忱故态之犹狂，亷贪立懦兮掲世之防。云台钓台兮其髙颉颃，二十八人兮图像已忘，先生万古兮岿祠堂。
何孟春：春观子陵与侯君房书之所言，有以知子陵之胸臆矣。霸得书奏帝，帝有“狂奴故态”之哂，及幸其馆，抚腹之问，声以“咄咄”，又曰“我竟不能下汝耶！”此岂礼貌贤者之言也。子陵是时年亦已长矣，帝不以师友处子陵，而职谏议大夫之除，何哉？使子陵而职谏议大夫，不能一毫阿谀顺旨，而帝又不能一一尊信之，然则如子陵何哉？帝不任三公而政归台阁，其大臣至以直言死，其群臣往往以非谶而见罢黜，将来之事废后易太子，皆人道不可之大者。子陵是时有死其职而已矣，不然，亦有去而已矣。夫死其职，非贤者所以爱其君之初意，去其君受职之余，孰与今日之不受之为全其节，而君臣之间两可无憾也哉！呜呼，此子陵之心也！
徐渭：碧水映何深，高踪那可寻。不知天子贵，自识故人心。山霭消春雪，江风洒暮林。如闻流水引，谁听伯牙琴。
袁宏道：因山以为台，因水以为滩，因草以为丝，因木以为竿，因拙而辞世，因傲而弃官。严翁诚自知，刘叔亦难瞒。宁有同肝膈，而不可羽翰。
郭子章：严光加足于帝腹，光忘帝之贵也；唐肃宗因李泌假寐，登床捧泌首置于膝，良久方觉，帝自忘其贵也。布衣之遇天子，至光、泌极矣。桐江一丝，扶汉九鼎；历佐四圣，而后脱屣。光、泌所以报人主者，亦至矣哉。
王夫之：矫厉亢爽，耻为物下，道非可隐，而自旌其志，严光、周党是也。
李光地：①古来高隐人，不尽是忘世，多是志愿极大，见不能然，遂决意不臣人。……严子陵便是看得光武未能十分像意，所以不肯出。②子陵高风峻节，不污新莽，亦不臣光武，乃能激厉天下之人心。东汉末，宦祸、党锢频兴，而赴仁蹈义者，视死如归，子陵之力也。

严子洞位于汝州市蟒川乡十字路村南，严子河（现误为燕子河）东岸富春山（群众叫东山）脚下，有一石洞，高、宽约3米，深约4米，大洞往里延伸为一小洞，深约3米，只可放物，不可住人。此洞曾为严光的隐居处。
清道光《直隶汝州全志》记载：“富春山面临严子河，传即子陵隐居处。山上有子陵洞（即严子洞），嘉庆七年（1802年）监生杨顺重修，并塑子陵像于其中。山下有小山，即钓鱼台也。”
今仍存洞内的石钟及洞口西侧的石井、煎药灶，洞后的炒药灶、放药杵处，及山下河边的钓鱼台等遗迹。
严光在此隐居期间，常为人消灾治病，其家乡流传着许多传说。人们为了尊敬他，称之为“严子爷”，并在洞前建祠奉祀、起庙会以示纪念，洞前的河流也被叫做严子河（现误写为“燕子河”）。