Prevendo o crescimento demográfico, incluíram-se no seu interior diversas áreas de utilização quase exclusivamente agrícola, que a toponímia revelará, como as Pereiras, e, aos lados da actual Rua do Souto, o Linhar e o Pomar. Parte deste espaço irá ser aproveitado, num dos lados, para a construção do Paço do Alcaide, já no século XV e do outro, para a expansão urbanística que se verificará ao longo dos séculos XV e XVI.
Para compreender o traçado da vila, importa advertir que, na Idade Média, não era permitido fazer construções encostadas às muralhas ou excessivamente próximas. O mais antigo núcleo da vila terá sido o que se desenvolveu junto a embocadura da ponte. Muito cedo, porém, a povoação se estendeu para jusante. A vila tinha-se até então desenvolvido sobretudo na parte baixa, à volta do grande eixo constituído pela Rua Direita, também dita Rua de Dentro (da vila), e seu prolongamento, com algum incremento à volta dos acessos que ligavam este eixo às outras portas: a da Ponte, a do rio ou da Ribeira (S. Paulo), e a de Braga.

É, aliás, curiosa a diferenciação toponímica entre as diversas áreas da vila, a uma toponímia arcaica, correspondente a uma estruturação inicial - Rua Direita, Rua de Cima de Vila, Rua da Ribeira - sobrepõe-se urna toponímia baseada nas especializações profissionais dos respectivos arruamentos, que supõe a sectorização das actividades e uma dinâmica económica saudável - Rua da Sapataria, Rua dos Mercadores, Rua da Ferraria, Rua da Brancaria, Rua da Carniçaria - e depois uma toponímia mais recente, de origem topográfica ou rural - Rua do Souto, do Linhar do Carrezido, das Pereiras, do Pereiro, do Pinheiro, de Braga.

A expansão da vila, já no século XV além de vários arruamentos e moradias, fará aparecer alguns edifícios marcantes no futuro da vila: os novos Paços do Concelho, a Igreja Matriz e o Paço do Alcaide.
No início do século XVI erguer-se-á a torre da cadeia e implantar-se-á uma instituição, que irá marcar a vila, também no aspecto urbanístico: a Misericórdia. É na área do Pomar; utilizando em parte as casas que já aí possuía, que D. Leonel de Lima, a partir de 1464, vai promover a construção do castelo, destinado à habitação dos alcaides-mores, depois de obter de D. Afonso V a garantia de que esse cargo seria sempre desempenhado por ele e pelos seus descendentes, dando assim origem ao chamado Paço do Alcaide.
A Matriz foi concluída sob o reinado de D. Afonso V no séc. XV data que nos legou o portal gótico da entrada (a rosácea é uma reconstituição do século XX, decalcada sobre a da Igreja de S. Francisco, do Porto). Depois da fundação, a igreja sofreu muitas obras que a alteraram, especialmente na segunda metade do séc. XVI: arcos, pilastras, abóbadas apaineladas, De uma boa parte dessas obras se encarregou Bastião Afonso, da conhecida família dos Lopes. A pouca distância da cerca amuralhada, D. Leonel de Lima patrocinou a criação de um Convento de Religiosos Franciscanos, em cuja igreja, muito modificada posteriormente, ainda se mantém alguns vestígios do século XV. A presença do convento favoreceu o aparecimento do anexo edífio da Ordem Terceira, que iria conhecer o seu apogeu no século XVIII.

Durante a segunda metade do século XVI e boa parte do século XVII, substituída na sua hegemonia regional por uma Viana enriquecida com a expansão marítima, e afectada pela crise dinástica e consequente anexação de Portugal à coroa dos Áustrias, Ponte de Lima conhecerá um período de estagnação, apenas exceptuado, e já depois de 1640, pela construção do Hospital de S. João de Deus, destinado aos soldados feridos nas guerras da Restauração, e pelas obras da Misericórdia.

Os últimos decénios do século XVII assistirão, nesta região, a uma onda de prosperidade agrícola, que, de par com o ouro proveniente do Brasil, propiciará os meios necessários para a construção de um grande número de solares, que ficarão a marcar para sempre a paisagem da Ribeira Lima. Alguns desses solares, entre os quais se destaca, como exemplo, a Casa de Aurora, levantar-se-ão mesmo no interior da vila ou às suas portas.

O século XIX e as primeiras décadas do século XX não deixaram marcas de vulto, a não ser no aspecto negativo, a destruição de quase todas as muralhas e torres da cerca medieval. Assiste-se nesta passagem de milénio a um grande surto de progresso, acompanhado de uma expansão urbana sem precedentes que, se justifica algumas apreensões, por outro lado começa a ser acompanhado por uma gradual preocupação com os valores do nosso património histórico. Ponte de Lima recupera gradualmente o lugar cimeiro que lhe coube na região até ao início do século XVI.