Pierre Jean Louis Germain Soulages est né à Rodez, rue Combarela. Il est le fils d'Amans Soulages, carrossier (fabricant de voitures à cheval), et d'Aglaé Zoé Julie Corp. Amans Soulages avait été marié une première fois avec Lucie Pélagie Galtier, décédée en 1902 quelques semaines après avoir donné naissance à leur premier enfant, Gaston Pierre Amans Soulages.
Dès son plus jeune âge, à Rodez, Soulages est fasciné par les vieilles pierres, les matériaux patinés et érodés par le temps, l'artisanat de son pays du Rouergue, passant beaucoup de temps dans les boutiques des artisans du cuir, du fer et du bois, et ses âpres paysages, particulièrement les Causses. Il a tout juste huit ans lorsqu'il répond à une amie de sa sœur aînée qui lui demande ce qu’il est en train de dessiner à l’encre sur une feuille blanche : un paysage de neige.
« Ce que je voulais faire avec mon encre, dit-il, c’était rendre le blanc du papier encore plus blanc, plus lumineux, comme la neige. C’est du moins l’explication que j’en donne maintenant. »
À douze ans, alors qu'il est élève au lycée Foch, son professeur l'emmène, avec sa classe, visiter l'abbatiale Sainte-Foy de Conquesc, où se révèlent sa passion de l'art roman et le désir confus de devenir un artiste. En 1936, il obtient le 1er prix dans la catégorie « histoire de l'art ». Il reçoit aussi, par l'intermédiaire de publications, le choc émotionnel des peintures rupestres des grottes du Pech-Merle dans le Lot, de Font-de-Gaume en Dordogne, d'Altamira en Cantabrie (Espagne), puis de Lascaux en Dordogne (découverte en 1940). Plus tard, il accompagnera dans ses recherches l'archéologue Louis Balsan et découvrira lui-même, au pied d'un dolmen, des pointes de flèches et des tessons de poteries préhistoriques qui entrent au musée Fenaille de Rodez,d où il a été auparavant bouleversé par la collection des statues-menhirs datant du Néolithique (tout particulièrement la statue-menhir de la Verrière).