潘姓主要有3个来源，其中一支出自姬姓，系周文王第15子毕公高的后代。西周初，毕公高受封于毕(今陕西西安、咸阳两地之北)，建立毕国。之后，他让自己的第4子季孙食采于潘(今陕西省北部)。季孙的子孙后代以邑为氏，称为潘姓。

　　另一支出自楚国公族芈姓，以字为氏，改称潘姓，潘崇即为由芈姓改称潘姓的始祖。在楚成王时，他担任太子商臣的师傅，当楚成王打算另立太子时，他鼎力支持太子取得了王位的继承权。商臣继位后，封潘崇为太师。从此，潘氏在楚国的权势大增，潘崇的儿子、孙子后相继任楚国的大夫。

　　第3支来自少数民族的改姓。北魏时，少数民族中有破多罗氏，改为潘氏，其子孙亦称潘姓。

　　上述三源的前二源中，姬姓是黄帝的嫡系子孙，芈姓是黄帝之子颛顼的后裔，故二源同属一宗，都是黄帝的后裔。

　　潘姓虽然有多支来源，但构成潘姓主体的是出自季孙的这一支，潘姓人所说的“荥阳”、“河南”两大郡望也与这支潘姓的发展有关。故后世潘姓人多奉季孙为得姓始祖。

　　在当今中华姓氏人口排序中，潘姓是名列第52位的人口大姓，约占全国汉族人口的0.41%，分布很广，而以广东、江苏、安徽、内蒙古、河南、四川、湖北、浙江较多，这8省区潘姓约占全国汉族潘姓人口的69%。

　　潘姓人徙居广东，大概始于唐代。据《大埔县志·人物》载，生于唐元和十二年(817)的原福建沙县籍潘了拳，从小吃斋，12岁时父母先后去世。17岁流落到广东大埔西河乡，为寡妇游氏收为养子。及养母去世，便出家为僧。后为灵光寺开山祖师。史载五代十国时，南汉南海人潘崇彻官内侍省局丞，好读兵书，屡立军功。宋将潘美南下，崇彻奉后主刘𬬮命率军3万防守贺江，遂降于宋。至宋，徙居广东的潘姓人逐渐增多。而大批入粤者，则始于明代。潘氏进入今清远市域较晚，最早者也只到明初。市内其他大姓，主要族支都来自多个地方，但潘氏是个例外，主体族支均由今新丰沙田分枝而来，主源地只有1处，均属潘伯澜的裔孙。

　　潘伯澜是清远潘氏发展史上的关键人物，故对其人其事须作简要的交代。族谱称其为明中叶人，系中国潘氏的第88代祖。他们这支潘氏，上源系承季孙，以“荥阳”为郡望，早期居河南，晋代分枝到江西临川，至宋代移居福建长汀，宋末迁回江西赣州府，定居安远项山(今寻乌)。79世祖元智公，又由江西赣州移居福建汀州宁化县。至元代，81世祖琴、瑟两公由闽迁居广东长乐县(今五华县)。明洪武年间，琴公之子文质公移居兴宁。伯澜公是琴公的裔孙，为88世祖。他性格刚烈，明成化四年(1468)因阻军役，与县令结仇，为避官祸，乃携眷逃匿，由兴宁潜移到粤北翁源南浦再创基业。若干年后，家业重振，富甲乡里，成为当地有影响的家族。他这个家族在翁源南浦风光了20多年，不料又与县主交恶，为应付官兵捉拿，伯澜公密嘱家人分散潜逃，由他只身留下对抗官兵。这位刚烈的老人，后在拒捕中身负重伤而丧生。
　　伯澜公生有5子，取名都带“王”部旁，即埝玙、埝玟、稔珍、稔瑞、埝珠。其中稔玟、稔珠避逃到今新丰沙田镇开基立业，从而开启了潘氏在新丰县境的发展历史。伯澜公这两个儿子的后裔发展迅速，房支众多，新丰县内有64个村庄为潘姓人所居，人口众多，民国时期有“潘半县”之称。

　　沙田是个典型的山区，山多田少，耕作条件十分艰苦。潘氏族人为着生存发展，只有不断地分迁外地。除向新丰县内四处迁徙外，毗邻的今清远市域更成为这个家族的向往之地。故从明代后期开始，这个家族便不断地分迁入境。

　　清城源潭有1.2万潘姓人，占全区潘姓人口之半，也是全市潘姓人口最多的乡镇。他们的先祖均来自新丰沙田，大多入迁于清代，早者已繁衍10余代，晚者只有几代。如源潭青龙潘氏，开基祖是宇天、宇辉、宇骋、宇勋4兄弟，入迁于清乾隆年间，至今已传10代，发展到2700丁口，衍居25个自然村。横荷街有4500潘姓人，是清城潘氏第2大聚居之地。先祖均从新丰沙田迁来，其主要房支有任斌、文辉、潘全3家，均入迁于清代，衍居横荷、青山、玉塘、打古等村。清远市第五届政协副主席潘绪光就出自横荷潘氏族支。

　　清新潘氏人口逾千的有三坑、太平、石坎、南冲、浸潭等镇。其中三坑最盛，逾6000丁口，为该镇的第1大姓。三坑潘氏主要有两大房支：一支于清康熙年间由新丰沙田迁来，族裔衍居崩坑的新屋、蒲水莲、大圳头、旱坑头，湴塱新屋、田寨岗、黄坑、艺珠等自然村；另一支于清雍正年间由新丰沙田迁来，族裔衍居安庆的新桥、新兴、青龙围，枫坑的新屋、大锅塘，鸡凤的新新桥，陂头的麦寮、新东等自然村。

　　英德潘姓人口逾千的有白沙、望埠、黎溪三镇，其中白沙最多，近4000人口。白沙潘氏于明后期由新丰沙田迁来，开基祖名仲衍，后裔分布甚广，留居在镇内的集中在白沙、红星、水心三村。

　　新丰沙田潘氏派衍连南县境始于明末。其中最大的一支是清乾隆五十五年(1790)，潘维举、潘维纲兄弟携族亲玉侦、玉科等，由新丰沙田迁至今连南寨南镇开创基业，后裔衍居寨南石径、新寨、大崀等地。现寨南有4600多潘姓人，多为这批迁居者的后裔。连南三江城西潘氏来自英德白沙潘氏的再分迁。原居白沙水心美田村的伯澜公裔孙潘定芹，生成奎、成庄、成端、成化、成均五子。定芹公于清嘉庆八年(1803)去世，成奎等4兄弟奉母于清嘉庆十四年迁居今连南三江城西伙铺尾发展家业，留下五弟成均在白沙看守祖业。两年后，由于母亲挂念小儿成均，他们兄弟又回英德白沙带成均上连南，安排他在三江梅村置居创业。他们5兄弟奉父亲曹定芹为三江开基始祖，发展至今，逾2000人口。

　　连州有9500潘姓人，其中源于新丰沙田属伯澜公裔系的有：九陂潘永三家族(居九陂石寨)、潘定芹家族(由连南三江分枝而来，居九陂新圩、长塘两地)，潘廷泮家族(居连州河西新立寨)、潘廷上家族(居连州西河水湃村)、潘成托家族(居连州龙口新家村)等。
阳山县潘姓人不多，只有3400多人。七拱是其主要聚居之地，次为岭背，大崀等地，均属伯澜公后裔。清同治年间，连阳地区的伯澜公后裔为方便祭祖，经商议，并征得新丰潘氏宗亲会同意，在阳山七拱修建了伯澜公分祠，约定每年农历八月初八日为祭祖日。足见伯澜公后裔的念祖情深。

　　清远潘氏亦有少数非伯澜公裔；主要分布在连州市境。其中人数较多的有大路边潘家村潘氏和西岸潘屋潘氏。潘家村潘氏的开基祖叫潘万记，明嘉靖十年(1531)由今粤东平远县迁来，至今已传20余代，后裔散居大路边、星子、龙坪等地，计有2100余人，其发祥地潘家村现有860人。西岸潘屋潘氏，开基祖叫潘自六，明洪武年间由今江西寻乌迁英德大湾暂居，继迁连山，再转连州西岸黄花坪，最后于明永乐七年(1409)迁今西岸潘屋开村置业。这个家族已传承26代，后裔主要衍居西岸、保安等地。当代清远文坛上的出类拔萃者潘伟就出自这个家族。潘伟曾长期从事新闻秘书工作，后担任《清远日报》社长、总编，现为市政协副秘书长。多年来，他在各级报刊发表散文、小说、摄影作品上千件，新闻作品数千件，甚多作品获国家级奖和省级奖。代表作有散文集《故乡这方土》、长篇报告文学《大路歌》、《走出“寒极”》，摄影散文集《民间一瞥》，专题摄影集《天工开物古今图说》等。其专题摄影《稻草人一中国农民的大地艺术》曾入选首届巴黎世界摄影双年展。2008年，潘伟曾被中国报业协会推荐为《中国报业》第11期封面人物。

　　搬迁到清远市域的伯澜公后裔，不显山，不露水，世世代代勤奋地耕种，默默地繁衍生息，对明清时期清远市域的经济开发，作出了不可磨灭的历史贡献。在过去的革命战争年代，潘氏族人接受共产党的指引，顺应历史潮流，积极投入革命斗争，先后有潘波、潘棠、潘大九、潘贻桑、潘琦等热心青年为革命捐躯。其中连南三江人潘琦，少年时代就从事地下党的秘密联络工作，后奉组织指令，积极从事连县敌情活动信息搜集工作，为人民解放军顺利解放连州镇提供了可靠的情报。1949年12月8日，连县全境解放，潘琦被任命为石角乡乡长。1950年5月9日，不幸在抗击上百土匪袭击石角乡新寨村的战斗中牺牲，年仅19岁。《连南县志》特为这位年青的烈士撰写了传记。