从南北朝开始，济南城市形态和规模发生了巨大变化。但城市格局的定型，却与“济南府”的设立有莫大关联。
　　
　　济南初为北魏济南郡。北魏永熙三年（534），东魏成为济南地区的统治者。武定八年（550）东魏灭亡后，济南郡先后经历北齐、北周，后归隋。隋开皇三年（583），文帝罢郡存州，废除汉末形成的州郡县制，以州直接统县，济南郡遂改为齐州。大业三年（607）改州为郡，齐州遂改为齐郡。齐郡共辖10县，管辖范围略小于北魏时期的齐州。“齐州”作为济南地区的官方地名，一直使用到北宋末年。
　　
　　唐武德二年（619），于边镇及襟带之地，置总管府以领军戎，于济南置齐州总管府，管齐、邹、东泰、谭、淄、济六州。武德七年（624）二月十二日，改总管府为都督府，齐州总管府易为齐州都督府。唐太宗贞观元年（627）废都督府，并将全国划为十道监察区。同时裁撤谭州，将平陵、临济、亭山、章丘四县划入齐州，齐州恢复到隋代济南郡所管辖的范围。贞观七年（634），齐州复置都督府，管齐、青、淄、莱、密五州。天宝元年（742），天下罢州置郡，齐州改为临淄郡。天宝五年（746），又改为济南郡。乾元元年（758），济南郡复称齐州。这一时期，齐州辖历城、章丘、禹城、临邑、临济、长清六县。
　　
　　隋代至唐中期的一百多年时间里，全国绝大部分州县治所均沿用前代遗留下来的城垣，只有极少部分州县治所新筑或改筑了城垣，齐州在这一时期并没有大规模的筑城活动。从唐代中期开始，济南的城市人口日渐增多，城市愈加繁荣。据估算，唐天宝年间齐州城内的城市人口约在1.5万人以上。
　　
　　唐元和十四年（819）朝廷灭掉藩镇李师道之后，将其辖地一分为三，以齐州与淄青、登、莱等州划归平卢节度使。当时的齐州处在平卢节度使（驻青州）、横海节度使（驻沧州）、天平节度使（驻郓州，即今东平）的半合围地带，虽仅为州治，但军事地位重要，故有大规模修筑城池的需要。元和十五年（820），全节县并入历城县后，曾修筑过齐州州城。唐末宋初，齐州城易郭为城，城市范围得以扩大，城防更加坚固。