Сергей Ковалев родился 15 августа 1919 года в Петрограде. Во время Великой Отечественной войны он окончил институт и был направлен конструктором в ЦКБ-18, которое впоследствии и стало ЦКБ "Рубин".
За время работы Ковалев принимал участие в разработке многих проектов подводных лодок, включая и субмарины проекта 617 с парогазовой турбиной и АПЛ проекта 658 с баллистическими ракетами. С 1958 года Ковалев стал главным, а затем и генеральным конструктором всех атомных подводных лодок.
В общей сложности по восьми проектам Ковалева были построены 92 подводные лодки. Речь идет об АПЛ проектов 658, 658М, 667А, 667Б, 667БД, 667БДР, 667БДРМ и 941. В последние несколько лет генеральный конструктор ЦКБ "Рубин" занимался строительством серии атомных подводных лодок с баллистическими ракетами проекта 955 "Борей".
Кроме того, Ковалев принимал участие и в работах по созданию ледостойких нефтегазовых платформ для шельфовых месторождений.