L'église Saint-Pierre-de-Montmartre est, comme Saint-Julien-le-Pauvre, l'une des plus anciennes de Paris.
À l'époque gallo-romaine, la colline de Montmartre rassemblait des villas et un temple, vraisemblablement dédié au dieu Mercure. Sous les mérovingiens, le lieu est marqué par le souvenir des martyrs : saint Denis, saint Éleuthère et saint Rustique y auraient été décapités.
Selon les récits carolingiens, il devait exister à cette époque une chapelle sur le versant méridional de la colline. Sans doute détruite par les Normands à la fin du IXe siècle, elle fut rebâtie, puis détruite en 944 par un ouragan. En 1096, Gauthier Payen, vicomte de Meulan, donna la chapelle et le terrain environnant au prieuré de Saint-Martin-des-Champs.
En 1133, ce dernier céda l'ensemble de la propriété au roi Louis VI le Gros et à sa femme Adélaïde de Savoie contre l'église Saint-Denis-de-la-Chartre et ses dépendances. Les souverains en firent donation à des moniales bénédictines qui y fondèrent une abbaye.
L'église de cette abbaye fut construite en commençant par le chœur. En avril 1147, les travaux étaient assez avancés pour que le sanctuaire fût consacré par le pape Eugène III, assisté de Bernard de Clairvaux et de Pierre le Vénérable, abbé de Cluny. La partie orientale était réservée aux moniales ; la partie ouest, au service paroissial.
La nef est ensuite achevée et l'abside refaite à la fin du XIIe siècle ou au début du XIIIe. En 1153, la reine Adélaïde, veuve et remariée, se retire à l'abbaye de Montmartre et y meurt l'année suivante. Elle est enterrée devant le maître-autel de l'église abbatiale.
Au XVe siècle, la guerre de Cent Ans oblige les moniales à quitter leur couvent bien délabré et à se réfugier à Paris.
Sous Louis XI, des réparations sont entreprises, financées par le temporel de l'abbaye. C'est à cette époque que la voûte de la nef a dû être refaite.
En 1611, on découvrit sur la colline la crypte du martyrium avec ce qui parut être le tombeau de saint Denis. L'antique chapelle fut rebâtie, érigée en prieuré en 1622 avec bâtiments attenants. Ce fut l'abbaye d'en bas. En 1686 eut lieu le transfert de l'abbaye d'en haut vers l'abbaye d'en bas avec la démolition des anciens bâtiments devenus vétustes.
Dans l'abbaye d'en haut, seule l'église fut conservée. C'est l'église actuelle.
Dans le dernier quart du XVIIIe siècle, la façade ouest de l'édifice est refaite, tout comme le mur gouttereau nord de la nef. De plus, une large sacristie fut élevée à hauteur de la quatrième travée.
À la Révolution, le couvent est supprimé. En 1794, les bâtiments sont vendus. L'église est transformée en une tour où Claude Chappe installe son premier télégraphe aérien. Nef et transept sont rendus au culte en 1803.
En 1814, les troupes russes occupent l'édifice et installent un four à pain dans l'absidiole nord. Restauré entre 1899 et 1905 par l'architecte Sauvagot, l'édifice est rendu au culte en 1908.
L'église Saint-Pierre est le seul témoin de la puissance de l'ancienne abbaye royale de Montmartre. Sur le plan architectural, ce lieu chargé d'histoire fait la jonction entre l'art roman et le gothique primitif. Depuis 1953, il est embelli par la verrière de Max Ingrand qui illustre, entre autres, les grandes étapes de la vie de l'apôtre Pierre.