Devenu Secrétaire Général adjoint en 1970 auprès de Waldeck Rochet, malade, c'est lui, avec l'assentiment de J.Duclos qui dirige le PCF vers l'union de la gauche dont il espère être le principal dirigeant. Son arrivée au poste de Secrétaire Général du PCF en 1972 couronne son ascension. désormais chef du PCF, il mène une politique ambigüe, n'osant pas rompre avec l'union soviétique, dont le bilan est globalement positif, se rapprochant des leaders communistes ouest-européens puis sabordant les débuts de l'"eurocommunisme", enfin, au sein de la gauche française, il fait évoluer l'union vers une quasi-confrontation. L'échec de la gauche, majoritaire en voix, aux législatives de 1978 lui est largement imputable, faisant perdre son camp par une surenchère outrancière.

Les présidentielles de 1981 sont pour lui un double échec, avec 15,3% des voix, il concrétise le déclin du PCF auprès de l'opinion et il n'a pas pu empécher la victoire du socialiste François Mitterrand. Il quitte la direction du parti en 1994 pour raison de santé, tout en gardant un certain ascendant sur le fonctionnement du Parti. Jusqu'à sa mort, il a gardé son bureau de premier secrétaire au siège du PCF, place du Colonel Fabien.