如果没有大量人口的迁出，珠玑巷不会被众多散居海内外的人当作桑梓之地。由于中原战乱，北方人大举南下，迁入珠玑巷。无独有偶，也正是由于后来的战争，珠玑巷每每受劫，甚至处在战争中心。为了躲避战乱，珠玑巷人不得不再次南迁，进入珠三角等地。
从今日的珠玑巷南门进去不到百米，便能看到一座石塔，当地人称它贵妃塔，并相信这是由于胡妃而引起了一段南迁传说，有人也把这一传说称为胡妃之祸。
相传南宋度宗咸淳年间，胡妃因为奸臣贾似道陷害被逐出宫，流落江湖，走到钱塘江畔恰遇珠玑巷商人黄贮万，两人定下终生之事，回到珠玑巷生活，事隔多年家仆对黄贮万不满，到官府告发。朝廷诏令血洗珠玑巷，捉拿胡妃问罪，众乡邻为逃胡妃之祸，大批南迁，胡妃为了不牵连四乡居民，投井自尽，后人为纪念她在井上放上石塔。
胡妃之祸引发珠玑巷居民大举南迁只是一个民间传说，给历史上的真实事件平添一丝人情味而已。真正的珠玑巷先民的大举南迁发生过3次，分别发生在南宋末年、元末明初和明末清初朝局动荡之时。
南宋末年的珠玑巷移民，是岭南有史以来最大规模的一次。宋末，元军从大庾岭进入广东，遭到福建、江西、广东军民反抗，南雄等地正好处在战区中心，双方互相争夺，战争惨烈。在多年的战乱之中，处在交通要道上的珠玑居民和附近村民走避一空，几乎倾巢南下。珠玑巷居民南迁，沿水路最为方便，一路而下到清远，继续下行，经过三水可以到达南海、新会、中山等地。
有关专家估计，在宋朝，直接由珠玑巷和附近58村迁出的人口将近10万，这样空前集中的南迁在南海九江傅氏族谱上可以找到记载：逃难的人太多，沿河没有船，只好砍木结筏顺水漂下，到了连州码头边，约有1万多人停靠在河边歇息，不料夜晚狂风大作，潮水猛涨，木头绑起来的船不能抵挡，纷纷散开，淹死的人难以数计，满江都是哭泣的声音。
宋朝以后，元明清三朝，珠玑巷仍然不断有居民南迁珠江三角洲。一些专家认为，数朝来迁出珠玑巷的先民共达数十万之多，现今珠江三角洲许多家族都称来自珠玑巷，并非虚言。
珠玑巷先民南迁珠三角后，由于他们当中不少来自中原地区的官绅和读书人家，家学渊源，不但带动了当地经济发展，而且提升了岭南教育水平，珠玑后裔建立的书院更是在全国出名，使广东书院在全国鼎盛一时。
曾祥委等专家认为：珠玑巷移民后裔约占今天广府民系的60%以上，大约有2000多万人（对此数据专家莫衷一是，也有估计人数达4000万），在珠三角一些后裔分布的高密区，珠玑后人占到了80%以上。由于珠江三角洲和附近地区是我国主要的侨乡，因而珠玑巷也成为侨居世界各地华侨华人的祖籍地之一，事实上近年来已经有不少海外人士来到珠玑巷认祖。
幸与不幸
千古风流，总被雨打风吹去。今日，踩在珠玑巷1500米长、4米多宽的鹅卵石路上，令人感喟这条自唐起就扼交通要道、终日车水马龙的古巷，现时几乎被现代文明遗忘。
据历史记载，珠玑巷西侧的小巷打铁生意兴隆，炼铁炉林立，有铁炉巷之称。然而，如今走在珠玑巷，已无法再寻到一个铁铺，最后的一个铁匠已在两年前卖掉了所有的家当，正式歇业。在珠玑巷边的珠玑镇上，一位卢铁匠仍在坚持着，他已经是整个镇上的最后几位铁匠了。“打铁的行当已经过时了。”卢铁匠说，“照这样下去，不用10年这个行当就会在珠玑巷消失。”
代表传统农业的铁匠行当在现代社会里已经趋向没落，在消逝前苟延残喘着，这一行业的变迁正折射出珠玑巷的发展轨迹：
最初的原始农业社会中，随着大庾岭古道的开辟，珠玑巷吸纳了很多外来人定居，南来北往的过客带旺了商业，酒肆林立，客栈繁多，珠玑巷逐渐演变为一个商业重镇，一群人依靠交通带来的优势摆脱了耕种的农业生活。
尔后，随着几次珠玑居民的大举南迁，随着被别的交通要道绕过，珠玑巷的商业失去了依存的母体，成为无源之水，商业逐渐萎缩，珠玑巷的人们又恢复了农业社会的耕作。直至今日，大部分的珠玑巷后人仍然依赖种田为生。
和其他不发达的地方一样，珠玑巷人把子女送到外边去读书，年轻人多会选择离开，去珠三角打工，巷子里留下老人和孩子。在古巷里，几个小贩熟练地加工着手工卷烟，当街摆卖，但这些以前著名的手工卷烟已经少有游客问津了，就连当地有名的南雄卷烟厂也被其他厂家合并了。
一度繁华的珠玑巷逐渐脱离现代化之外，但也正因为这样，它有幸保存原貌至今，留下今人凭吊的古巷，吸引众多海内外游客，使它重添活力，开始复兴。
广州到珠玑巷交通
自驾车：出广州上京珠高速，从韶关下高速，行90公里到南雄县城，再向北行9公里到珠玑镇珠玑巷，全程约5.5小时。
乘大巴：到省汽车站乘坐到韶关大巴，到韶关后转乘到南雄大巴或中巴，约两小时到达南雄县城；或者从省站直接乘到南雄的大巴，然后乘坐公交车到珠玑镇珠玑巷，全程6小时左右。
乘火车：到广州火车站乘坐火车，2个多小时抵达韶关，乘大巴或中巴到南雄县城后转公交车抵达珠玑镇珠玑巷，全程5个多小时。(南方日报）
