明万历三十五年(1607)，顺德杏坛镇石滩村人黄士俊高中状元，官至礼部尚书、大学士。为光宗耀祖，于明天启元年(1621)，在城南门外的凤山脚下大良修建了黄家祠和天章阁、灵阿之阁这些祠、阁周围都有花园，这便是清晖园最早的踪迹。后黄家衰落，庭院荒废，清乾隆年间，当地龙氏碧鉴海支系21世龙应时得中进士，将天章阁、灵阿之阁从时已破落的黄家后人之手购得。该院归龙家后，由龙应时传与其子龙廷槐和龙廷梓，后来廷槐、廷梓分家，庭院的中间部分归龙廷槐，称为“余园”；左右两侧分归为龙廷梓。龙廷梓将归他的左、右两部分庭院建成以居室为主的庭园，称为“龙太常花园”和“楚芗园”，人们俗称左、右花园。后来左侧的龙太常花园在园主衰落后，卖给了曾秋樵，其子曾栋在此经营蚕种生意，挂上“广大”的招牌，故又称“广大园”。
乾隆五十三年(1788)，龙应时长子龙廷槐考中进士，廷槐字澳堂，初授翰林院编修，不久授监察御史之职，后入值上书房，官至太常卿。嘉庆五年（1800）龙应时病逝，廷槐获准回乡守孝三年，后见和坤弄权，无心复出。到嘉庆十年（1805年）龙廷槐将父亲生前购得产业的中部拓建成庄园，侍奉母亲居住。一年后，龙廷槐请同榜进士、江苏武进的书法家李兆洛题写“清晖”的园名，意取“谁言寸草心、报得三春晖”，以示筑园奉母是为了报答父母如日光和熙普照之恩。这也是清晖园名的由来。其子龙元任在嘉庆二十二年(1817)得中进士以后，对清晖园大加修整，广栽花木，使之成为格局完整的岭南园林。清晖园经龙应时、应时子龙廷槐、廷槐子龙元任、廷槐孙龙景灿，曾孙龙诸慧一门五代人精心营建，几经修改加工，至民国初年，全园格局始臻定型。特别是龙渚惠，他曾带领设计师和工匠到苏州一带参观着名庭院，回来后对原建筑物作了一番大规模的修整，逐渐形成了格局完整而又富有特色的岭南园林。
抗日战争期间，龙氏家人避居海外，庭院日趋残破。
解放后，由省、县人民政府拨款修复，几经修葺兴建，将清晖园、楚芗园、广大园及龙家住宅等一起收入园址，面积由3000多平方米扩大到近万平方米，基本恢复当年黄士俊花园的范围。从上个世纪90年代中期（1996年）起对清晖园进行再度兴工扩建，扩复旧制，以重现名园精髓，以接待海外广大游客，增加了凤来峰、读云轩、留芬阁、沐英涧、红蕖书屋等多处建筑景点，面积增至2.2万平方米。2011年11月24日，分别从美国、香港、重庆等地赶回顺德的清晖园原主人龙氏子孙后代24人相聚清晖园，向清晖园管理处捐赠近百件相关的历史文物，其中包括民国三十六年广东省政府地政局颁发的地契、宣统元年广东布政使司颁发的房屋契、龙氏族谱、清晖园先人照片等。
