1903年8月11日（阴历六月十九），唐世凤出生于江西省泰和县三都墟三派唐雅村。唐雅村位于泰和县今螺溪镇。唐世凤，原名志丰，别号诗凤。螺溪镇地处泰和县西北部，吉泰盆地腹地。唐雅村距镇4千米，地处禾水河畔。这里地势平坦，水资源丰富，稻作农业生产发达。唐雅村是一个古老的村庄，名字中还带着书香韵味。
　　
　　唐世凤出生的唐雅村有高耸的牌坊式门楼，唐氏宗祠至今犹存。门楼正中最上方是飞檐，雕有龙凤等祥瑞图案。“唐氏宗祠”上方题有“御史第”，左右蓝边白色瓷瓦上写着“名宦”“乡贤”“人寿”“年丰”。1936年，中央研究院院长蔡元培为唐氏祠堂题写匾额“宝善堂”。
　　
　　据泰和唐氏族谱：唐氏家族祖籍山西太原晋阳，唐朝时祖先曾任太原太守，经数百年后代繁衍于咸阳、绍兴、江陵等地，明朝时徙居泰和，至今已有60多代。唐氏祠堂“宝善堂”建于1468年，1931年再次修造，前有坊，中有堂，后有寝。村中唐姓男丁普遍高大，接近1.8米，身材高于江西本地人。
　　
　　泰和螺溪镇唐氏家族，是一个晴耕雨读的书香之家，但唐世凤出生时，家道中落，一家人糊口都不容易。这个贫寒之家迎来一个小生命，作为长子，总是被寄予了家族振兴、重光门楣的希望。爷爷为之起名志丰。1923年8月，他考入吉安省立第六中学，将“志丰”改为“世凤”。
　　
　　唐世凤的父亲叫唐抡元（字锡三），出身贫农，中年改商。长年外出，做伙夫或商店店员。“中年后期还乡耕田，为自耕农。新中国成立前在原籍去世。”
　　
　　母亲胡银莲，带着5个孩子在家种田，不时还要挪着小脚到二三里外的山上砍柴卖钱，以贴补家用。即使如此，全家还时常以地瓜蔓和芋头梗充饥。
　　
　　这一家人在贫困线上苦苦挣扎，即使这样，自幼聪颖的唐世凤，心中有一个梦想——读书。连温饱问题都难以解决的家庭，想读书，太难了。唐世凤只能在村里读私塾，时读时辍，所谓的“读”，有时是站在私塾的窗外，偷听先生讲“四书五经”。
　　
　　直到18岁那年，唐世凤才进泰和县立高等小学校读一年级。当他进入教室时，小学生们还以为他是来授课的先生。当同学们得知这是同学，顿时哄堂大笑，唐世凤却不以为意。半年后，他转入吉安私立吉州中学校读初中，后又因交不起学费，半道辍学。