宋代，今台山地区已有大量汉人存在。明代编纂的《新宁县志》，记有宋开禧三年(1207年)，原籍广海奇石的老僧应玑写的《灵湖山水之记》：“灵湖在新会南一百五十里，地名鸟峒。峒之西与北，皆青山万叠，山之麓逶逦蔓衍，散为平陆，十余里而至於海。东西亦然。奚谷涧畴亩错杂，人烟团簇。其地曰唐横、曰古龙、曰奇石、曰东畔、曰山头、曰官唐、曰后、曰官田、曰西溪、曰横度、曰西村、曰北陇、曰双门……。湖之周遭，视三里为倍。西山有石，石有仙迹。北有龙祠，乡民水旱必祷焉。……予之师永公，乾道之初，始辟路于龙祠之侧，树以松筠，筑庵居之。由是登览者逮今不绝。”文中所说的乾道之初，是公元1165年，已是宋朝因汴京失陷而南渡长江的第39年了。此时，广海地区已经人烟团簇，且文中之地名，皆为今台山境内的村落。
1958年1月13日，都斛五屋在兴修水利中挖出宋代铜钱1700多枚。1972年10月，在深井碧峰村后的猪头山，发掘出一座南宋石女墓，出土8件银器首饰、铁剑及崇宁、政和通宝的铜钱。据文物工作者分析，这是一位贵族妇人的墓葬。深井碧峰村，是新会县境西南部偏辟地方。这座南宋古墓的发现，也进一步佐证，在宋代，今台山境内已经得到较大的开发，随着外地人的迁入和本地人的繁衍，已经形成较为密集的居民点了。
1984年11月20日，附城东风陶器厂在蟹山进行基建挖土时发现一座宋代墓葬。这座古墓建筑精致，距地表1.8米深处，铺有一层60多厘米用蚬灰、河沙混合糖水填实的“三合土”，封着一个牢固的石墓。石墓上铺上6块长1.35米、宽36厘米、厚23厘米每块重达五六百斤的石块。石的石块，斧凿精致，结构由石头吻合，十分牢固。石墓出土1件龙泉窑青釉三足炉、1对造型十分精巧的双耳青釉瓷瓶，3件瓷器均完好无缺；还捡到嘉元宝、通宝铜钱各1枚(嘉 为北宋年号，1056—1063年)。墓内有一方砖，用石朱色写的墓记，因年久长期浸水，无法全部辨认，仅知墓主人是一位武官。文物部门鉴定为宋代的石墓。这座靠近台城的宋代墓葬出土，证明早在南宋以前，今台山地区已经人烟比较稠密了。史书上记载，宋代已有官居尚书之李乔木的家眷居留于今台山地区。清末邑人雷泽普著《新宁乡土历史》记，李乔木，汴梁人，宋建炎进士，官至银青光禄大夫、兵部尚书。绍兴年间因疏忤权奸，谪贬岭南，后在南恩州逝世。其子李玖，奉母侨居新会斗洞。清代道光十九年编的《新宁县志》也记在台城平政街，建有尚书坊，“为宋尚书李乔木建”。由此可见，早在宋绍兴(1131—1162年)年间，经过开发的今台山地区，已经吸引不少南迁的中原人。
在台山人的历史传说中，不少宗族都称他们的先祖是从南雄珠玑巷迁来的。其实，宋人经南雄珠玑巷南迁珠江三角洲，只是历代较大规模迁徙中的一次。
《简明广东史》分析指出：宋代人口的大量南迁，始因战患。北方的少数民族，先后建立辽、金、元政权。辽军多次南下攻宋。金灭辽后，在1126年灭亡北宋后继续向南宋进攻。长期的战争给中原以至江南地区造成严重破坏，人民大量逃亡。因此，广南两路(指今广东省境)相对安定的社会环境和大量尚未垦种的可耕地吸引了渴望安居乐业的各地人民。今台山境内余姓奉为始祖的余靖，在他的《望京楼记》《浈水馆记》已将大庚岭记为入粤的主要通道了。《简明广东史》记，“南宋初，逃避金兵，随宋室出走赣南的军民很多逾岭暂居保昌(今南雄)，进而南下。”“南宋末，元兵扰攘，逗留于保昌的难民若干个“姓”“族”(即家族)联合向州县申请路引，集体乘竹筏南渡，到广州各县‘辟地以种食’，更有来不及准备路引就仓皇登程的”。
珠玑巷原来在北宋京城开封附近的祥符县。宋朝廷被迫南迁时，这里的人跟随南迁，有部分人越过粤北梅岭，立足于南雄州。迁到南雄的人不忘故乡，还将新居地称珠玑巷。据《新宁县志》记，宋理宗时的大理寺正卿雷复，原来就是祥符县人。他退职之后南下，先隐居在南雄沙水村珠玑巷。到咸淳九年(1273年)，又迁到新会的古博里(今属开平)。后来，他的儿孙繁衍到文章都斗洞(今大江大巷)，成为台山大江雷姓人的祖宗。在雷复南迁之前的开禧元年(1205年)，南雄珠玑巷已有一帮居民迁移到新会县了。这帮人是因避“胡妃之祸”而南迁的。
宋度宗咸淳八年，胡妃得罪了皇帝，逃出京城临安，为商人黄贮万所得，携归南雄珠玑巷。后商人知她是贵妃，不敢收留，复令逃出，为强暴欺凌而死。胡妃出走不久，皇帝思念她，密令兵部尚书张英贵查访。南雄人讹传因胡妃已死，朝廷将加罪于珠玑巷。故珠玑巷居民纷纷南逃，散居于南方海滨各地。
当时，珠玑巷居民罗贵约同黄复愈、李子才、陈世道、伍元露等97人携眷南逃。呈文写道：“牛田坊十四图珠玑村贡生罗贵，居民麦秀、李福荣、黄复愈等，因为赴难，俯乞文引救恤生灵事。贵等历祖辟住珠玑村，各分户籍，有丁应役，有田赋税，别无亏缺，外无违法向恶背良。为天灾地劫，民不堪命，十存四五，犹虑难周。今奉旨颁行，将里筑寨，严限批行，民不敢有违。祖等思忖近处无地堪迁，闻南方烟瘴，地广人稀，欲投往安生，乞给文引，俾利迁行。”这呈文于开禧元年正月初五日经知县胡统化批准；又经府尹钟文达批示：“罗贵等九十七家，原系珠玑里民，词称迁移之故，乃虑兵丁之扰，非干违禁之例，准案给引，此照通行。”文引于开禧元年正月十五批给，四月十六日同文引97户，各携家眷南行。26日到顺德大良、朗江等地，求得土人马天成、龚应达等作保，到番禺县立案入户籍。后来，他们又有一部分人南迁到新会，散处今台山境内。《刘氏家谱》记，“有兆熊、沙亭二叔祖 ，一入赘中乐都，一入冈都新宁地方。”
珠玑巷人南迁，是迁入珠江三角洲乃至今台山地区的一帮人，是人数较多的一次迁移。如今台山境内黄姓居民，初居黄州江夏，后由福建莆田迁南雄，再由南雄迁移至珠江三角洲。南迁时，黄峭山口占七言诗一首，与儿孙分别。诗云：
策马登程出异疆，任从随处立纲常；
年深外境犹吾境，日久他乡即故乡。
朝夕莫忘亲命语，晨昏须荐祖宗香。
惟愿苍天垂庇佑，三七男儿永炽昌。
据《黄氏源流》一书记，今台山境内洞口、甘边、三社、白沙、潮境、南坑、广海、三合、海宴等地的黄氏，皆自南雄珠矶巷迁徙而来。1997年11月，各地黄姓宗裔还捐资重建成南雄珠矶巷的黄氏大宗祠。
今台山地区的余姓人，奉余靖为始祖。《简明广东史》载：余靖(1000—1064年)号武溪，曲江县人，自少博学强记，至于历代史记、杂家、小说、阴阳、律历，外暨浮屠、老子之书，无所不通，有安邦经世之志。他于宋仁宗初年中进士，从县、州、路的地方官入仕朝廷，官至工部尚书，是个正直而有作为的名臣。其著述由后人编成《武溪集》20卷。余姓人追本溯源，同经南雄的迁移也不无关系。如今南雄附近的韶关市内，有余氏的风采楼，供奉余靖。
据《宋代珠玑巷迁民与珠江三角洲农业发展》一书引《台山县乡土志》记载，由南雄珠玑巷迁徙至台山境内的，就有海宴春场、都斛东坑、赤溪冲金、汶村的陈氏，水步长塘的廖氏，海宴村的郑氏，海宴的甄氏，海宴南头的冯氏，独冈的袁氏，海宴街的赵氏，泮溪的邝氏，上川岛的甘氏，上下洞的李氏，萧村的萧氏，海宴的谭氏，寨门的容氏，大担的徐氏，那马冈的伍氏，白石的樊氏，旧仓巷的谭氏等等。在97户33姓的申乞文引人中，及前后经南雄迁移至今台山境内的，当不止这些姓氏。
珠矶巷人南迁，同时带来了当地的风俗习惯。台山广海地区每年端午节“打龙船”的风俗，同南雄珠矶巷的“扒旱船”一样，从龙船的开光，演唱的龙船歌、送船、烧船等活动内容一脉相承。这也从一个侧面反映出南宋人经南雄珠矶巷南迁珠江三角洲的史实。
大量人口南迁，有力地促进了珠江三角洲地区的垦辟，使许多荒辟的地方开垦成为耕地。黄慈博的《珠玑巷民族南迁记》记载，从保昌迁新会底村的罗贵一家十四口，“新收山塘田地共二十一亩二分二厘一毫，秋粮正耗纳米六斗四升三合二勺四抄……草屋三间，草牛二头。”据《永乐大典·广州府》引《广州新图经》记，北宋时划为下县的新会，到南宋已是“海有膏田沃壤，仓廪舟楫多取给”了。
