L'église Notre-Dame-de-l'Assomption de Caumont est un bel édifice religieux de plan rectangulaire. La nef romane, datant du début du XIIème siècle, comporte quelques assises de moellons placées en arêtes de poisson. Le chœur à chevet plat de la seconde moitié du XIIIème siècle est en blocage de moellons, mais les angles, portes et baies, sont garnis de pierre calcaire provenant des carrières exploitées sur le territoire de la paroisse.
La nef présente quelques assises de moellons placés en arêtes de poisson. Les fenêtres comprennent au nord de la nef des petites ouvertures cintrées ébrasées à l'intérieur, à la première travée du chœur au nord et au sud une longue lancette trilobée du XIIIème siècle, et à la seconde travée comme au chevet une large baie en tiers-point à deux meneaux, trois lancettes trilobées et deux oculus comportent des colonnettes.
La tour carrée en pierre de Caumont a été édifiée au début du XVIème siècle et est restée inachevée. Elle offre un départ de voûte sur nervures reposant sur des culots à têtes d'animaux. Elle accueille depuis 1930 les trois cloches qui rythment le cœur du village :
- Pierre-Louis, la plus imposante composant le bourdon (fa dièze pesant 600kg) ;
- Jacqueline, la seconde (sol dièze pesant 410kg) ;
- Jeanne, la plus petite (dièze pesant 300kg).
A remarquer, la décoration extérieure de la porte occidentale datant du XIIème siècle ainsi que le cadran solaire apposé en 1740 sur l’un des contreforts sud de la nef où figure l’étonnante phrase : « l’heure passe et la mort vient ».
Le mobilier intérieur de l’église est assez riche et inclut notamment une Vierge à l’Enfant polychrome du XVIIème siècle ainsi que Sainte Véronique portant le voile qui essuya le visage du Christ au Golgotha.
A la tribune figure un tableau représentant La Vierge aux anges et qui provient d’un don à l’Eglise Notre-Dame réalisé par le roi Louis-Philippe en 1845.
La croix monumentale du cimetière adossé à l’église est un des deux monuments historiques de la commune. La Croix date du XVIème siècle et bénéficie d’une inscription par arrêté du 24 novembre 1961 (fiche Mérimée PA00099367). Elle appartient à la commune. D'une hauteur de plusieurs mètres, elle est posée sur un soubassement en pierres. La colonne est pleine et surmontée d'une croix. Il s'agit d'un monument funéraire et on peut lui attribuer le qualificatif de croix hosannière. Ces croix surmontaient souvent une fosse commune ou un ossuaire dans l'Ouest de la France.
Le vieux cimetière a la particularité d’abriter un caveau destiné à recueillir les ossements des fins de concessions mais également ceux des noyés du Quai de Seine. Jusqu’à une époque très récente, la plupart des noyés de Rouen se retrouvaient en effet au niveau de la Ronce. Ce phénomène étrange né d’un courant fluvial lié à la concavité de la Seine justifia en 1838 l’installation d’un brigadier au poste de douane des Quais. On dénombrait alors deux à trois personnes noyées récupérées en rivage de la Seine au Bas-Caumont. Le Conseil municipal décida ainsi de disposer d’un cercueil d’avance en 1935. Ces découvertes dramatiques perdurent encore de nos jours.
