Dans la première moitié du XIXe siècle, le territoire de Montrouge, à l'époque au sud de Paris, était peu peuplé. La terre argileuse, riche en oxyde de fer, et l'élévation des terrains à cet endroit, sont à l'origne du nom du territoire. En 1847, sur autorisation du roi Louis-Philippe, on érige une petite chapelle dédiée à saint Pierre de Petit-Montrouge sur un emplacement situé derrière l'église actuelle. Le développement économique du Second Empire aidant, la population s'accroît. Il faut bâtir plus vaste. L'architecte Joseph-Émile Vaudremer (1829-1914) est chargé du nouvel édifice qu'il va construire entre 1863 et 1870. Il élèvera aussi Notre-Dame d'Auteuil (1877-1892) et Saint-Antoine-des-Quinze-Vingts, achevée en 1903.
Le style de l'église Saint-Pierre-de-Montrouge est le romano-byzantin, très à la mode à cette époque : arcades en plein cintre dans la nef scandée de piles rondes surmontées de chapiteaux composites ; grandes arcades dans le chœur enrichi d'un baldaquin; petites fenêtres romanes dans les bas-côtés et plus grandes fenêtres dans l'élévation ; voûtes en cul-de-four dans le transept ; enfin, murs ornés d'une frise et de mosaïques.
Les vitraux de la nef, qui reçoivent des grisailles à thème géométrique, laissent passer une importante lumière qui éclaire une magnifique voûte en bois. Si l'église possède quelques vitraux de pastiche médiéval dans la chapelle d'axe, elle s'est encore enrichie de quelques verrières, d'un style plus moderne, dans les années 1947-1948.