À partir de 1934, Pierre Soulages commence à peindre quotidiennement, des paysages d’hiver, des arbres sans feuilles, noirs, se détachant sur des fonds clairs : « Ce qui m’intéressait était le tracé des branches, leur mouvement dans l'espace… ». Des reproductions de lavis des peintres Claude Lorrain et Rembrandt le marquent profondément : il retient la dilution des taches d'encre créant une lumière particulière chez le premier, la force et le rythme des coups de pinceaux qui illuminent par contraste le blanc du papier chez le second.
Après l'obtention de son baccalauréat, en juin 1938, il part s'installer à Paris en septembre et s'inscrit à l'atelier privé du peintre et lithographe René Jaudon (au 25 passage d'Enfer à Paris 14e arrondissement), qui le remarque : « Il faut viser le prix de Rome ! Toutes les audaces vous seront permises ! ». Il peint notamment la toile Le Pont Neuf qui sera vendue une première fois dès 1940 puis adjugée aux enchères à Nîmes 80 ans plus tard. À la demande de son professeur, il se présente au concours d'entrée à l'École des beaux-arts. Il y est admis en avril 1939 mais est vite découragé par la médiocrité et le conformisme de l'enseignement qu'on y reçoit. Pendant ce bref séjour dans la capitale, il visite le musée du Louvre, le musée de l'Orangerie où il admire Les Nymphéas de Monet et voit, à la galerie Paul Rosenberg, des expositions de Cézanne et Picasso qui sont pour lui des révélations, l'incitant à regagner Rodez pour se consacrer pleinement à la peinture.
Il est mobilisé en 1940 et envoyé à Bordeaux (il est élève officier). Après l'Armistice en juin, il rejoint les chantiers de jeunesse à Nyons dans la Drôme. Le 13 février 1941, démobilisé, il s'installe en zone libre, à Montpellier16 (il est témoin de la rencontre entre Pétain et Franco qui s'y déroule le même jour), et fréquente assidûment le musée Fabre où il admire Les Baigneuses de Courbet, Descente de croix de Pedro de Campaña ou bien encore Sainte Agathe de Francisco de Zurbaráne.
D'avril 1941 à juin 1942, il prépare le professorat de dessin à l'École des beaux-arts de Montpellier où il rencontre Colette Llaurens (née le 14 mars 1921), qu'il épousera le 24 octobre de la même année à l'église Saint-Louis de Sète. Réfractaire au STO, il obtient de faux papiers et devient régisseur dans le vignoble du mas de la Valsière à Grabels. Il fait alors la connaissance de l'écrivain Joseph Delteil, qui croit en lui dès les premiers instants. Ce dernier lui dira : « Vous peignez avec du noir et du blanc, vous prenez la peinture par les cornes, c'est-à-dire par la magie. »
Au début de 1943, il rencontre également Sonia Delaunay qui l'initie à l'art abstrait.
En juin 1944, mobilisé à nouveau au moment de la Libération, il se rend à Toulouse où il se lie avec Vladimir Jankélévitch et son beau-frère Jean Cassou, qui deviendra l'un des premiers défenseurs de son œuvre. Démobilisé à la fin de cette même année, il retourne à la Valsière. Entre 1942 et 1945, il n'aura quasiment pas peint.