D'après quelques maigres sources historiques, l'église Saint-Gilles aurait succédé à un premier édifice présent au début du XIIIe siècle. Le nouveau bâtiment fut construit entre 1485 et 1528 dans un style gothique flamboyant, comme la collégiale Saint-Vulfran, commencée trois ans après. Cependant l'édifice restait fragile et le XVIIIe siècle amena son lot de malheurs. En 1729, deux piliers s'effondrèrent. La voûte, au-dessus, s'écroula et fut reconstruite grâce aux dons des paroissiens. En 1764, deux soldats se battirent en duel devant l'église et continuèrent dans le cimetière. L'un deux fut mortellement blessé. On ferma le cimetière qu'une cérémonie solennelle dut ensuite laver de cette souillure et rebénir. En 1765, c'est la foudre qui frappe le bâtiment, endommageant le clocher et cassant l'horloge.
Pendant la Révolution, l'église, fermée au culte, sert de magasin à fourrages. Grâce au dynamisme de son curé et aux dons des habitants du quartier, le bâtiment est entièrement restauré à partir de 1860. En style néo-gothique bien sûr, très en vogue à cette époque. L'intérieur en finira complètement couvert de décors peints dont quasiment rien ne subsiste aujourd'hui. Enfin, le 20 mai 1940, lors de la chevauchée des Panzer de Guderian vers la mer, l'artillerie allemande détruisit la ville d'Abbeville et, en grande partie, l'église Saint-Gilles. Seuls la façade gothique et quelques murs ont pu être sauvés. Restaurée, avec un intérieur en style contemporain, l'église a été rendue au culte en 1967.