Dans la première moitié du XIXe siècle, le territoire de Montrouge, à l'époque au sud de Paris, était peu peuplé. La terre argileuse, riche en oxyde de fer, et l'élévation des terrains à cet endroit, sont à l'origne du nom du territoire.
En 1847, sur autorisation du roi Louis-Philippe, on érige une petite chapelle dédiée à saint Pierre de Petit-Montrouge sur un emplacement situé derrière l'église actuelle.
Le développement économique du Second Empire aidant, la population s'accroît. Il faut bâtir plus vaste. L'architecte Joseph-Émile Vaudremer (1829-1914) est chargé du nouvel édifice qu'il va construire entre 1863 et 1870. Il élèvera aussi Notre-Dame d'Auteuil (1877-1892) et Saint-Antoine-des-Quinze-Vingts, achevée en 1903.
Le style de l'église Saint-Pierre-de-Montrouge est le romano-byzantin, très à la mode à cette époque : arcades en plein cintre et piles monocylindriques à chapiteaux composites ; chœur avec baldaquin ; petites fenêtres romanes dans les bas-côtés et grandes fenêtres dans l'élévation ; voûtes en cul-de-four dans le transept ; murs ornés de frises et de mosaïques.
Les vitraux de la nef reçoivent des grisailles à thème géométrique. Ils laissent passer une importante lumière qui éclaire une magnifique voûte en bois. Si l'église possède quelques vitraux de pastiche médiéval dans la chapelle d'axe, elle s'est encore enrichie de quelques verrières, d'un style moderne, dans les années 1947-1948.