Carl Palmer wuchs in einer sehr musikalischen Familie auf und begann schon früh, Violine zu lernen. Nachdem er 1959 den Film Drum Crazy oder auch The Gene Krupa Story gesehen hatte, wollte er Schlagzeuger werden. Nachdem er zum elften Geburtstag ein eigenes Schlagzeug bekommen hatte, begann er, das Schlagzeugspiel zu erlernen. In den nächsten drei Jahren spielte er im Midland Light Orchestra, einem Radioorchester, und in der Band seines Vaters.Seit dem 14. Lebensjahr arbeitete Carl Palmer professionell als Schlagzeuger bei Bands wie The Mecca Dance Band, Kind Bees (später The Craig) oder Chris Farlowe and the Thunderbirds, einer von Mick Jagger gemanagten Band. Er wirkte dort unter anderem bei dem Song Out of Time mit.Mit 18 ersetzte er dann Drachen Theaker bei The Crazy World of Arthur Brown, als die Band gerade auf dem Höhepunkt ihrer Karriere war, und tourte mit ihr durch die USA. Gelegentlich spielte er auch mit Steve Winwood zusammen.

Nachdem sich The Crazy World of Arthur Brown auflöste, kehrte Palmer nach England zurück und gründete Anfang 1970 mit dem ehemaligen Arthur-Brown-Keyboarder Vincent Crane die Band Atomic Rooster. Mit dem Bassisten und Sänger Nick Graham veröffentlichten sie das Album Atomic Ro-o-oster sowie die Singles Tomorrow Night und Devil’s Answer. In dieser Zeit stieg die Reputation von Carl Palmer als Schlagzeuger immer mehr.

1970 bis 1978: Emerson, Lake and Palmer, die Erste

Im Frühjahr 1970 bekam Carl Palmer einen Anruf von Greg Lake, einem der Mitglieder von King Crimson, der gemeinsam mit dem The-Nice-Keyboarder Keith Emerson eine neue Band gründen wollte und einen Schlagzeuger suchte. Trotz seiner Zweifel, die erfolgreich werdende Band zu verlassen, stimmte er zu, so dass sich Emerson, Lake and Palmer gründeten.Die Band erreichte bereits mit ihrem zweiten Auftritt im August 1970 beim Isle of Wight Festival einigen Ruhm und große Bekanntheit. Sie führten dort ihr Werk Pictures at an Exhibition, eine Adaption von Modest Petrowitsch Mussorgskis Bilder einer Ausstellung, auf. 1971 wurde dieses Werk als drittes Album veröffentlicht.Nach dem Festival veröffentlichten sie ihr Debütalbum Emerson, Lake & Palmer, das den Hit Lucky Man enthält. Im Jahr 1971 wurde Carl Palmer von der Musikzeitschrift Melody Maker zum weltbesten Schlagzeuger gewählt.

In den 1970er Jahren veröffentlichten Emerson, Lake and Palmer mit Emerson, Lake & Palmer, Tarkus, Trilogy, Brain Salad Surgery, dem Live-Album Welcome Back My Friends to the Show That Never Ends und Works Volume I sechs Platin-Alben und traten 1974 vor über 500.000 Zuschauern beim Festival „California Jam“ auf. 1977, nach der Veröffentlichung von Works Volume I, auf dem Palmer die dritte Soloseite – es gab drei Solo- und eine gemeinsame LP-Seite – geschrieben hatte, ging die Band mit einem 80-Mann-Sinfonieorchester auf Tournee. Nach den zwei weiteren Alben Works Volume II und Love Beach im Jahr 1979 trennten sich die Musiker.

1979 bis 1991: Zwischenspiel: PM, Asia,

Auf der Suche nach etwas Neuem gründete Palmer mit dem Sänger Todd Cochran von Automatic Man, dem Gitarristen John Nitzinger, Eric Scott und Barry Finnerty die Band PM. Gemeinsam brachten sie 1980 das Album 1:PM in Europa heraus. Da der Erfolg ausblieb, brachen PM schnell wieder auseinander.

Nach dem Ende von PM arbeitete Palmer eine Zeit lang mit Mike Oldfield zusammen, der wie Palmer auf Teneriffa lebte. Gemeinsam schrieben sie das Stück Mount Teide über einen Vulkanberg auf der Insel. Der Song ist auf Oldfields Album Five Miles Out zu hören.1981 wurde Palmer von Brian Lane, der für Geffen Records eine neue „Supergroup“ zusammenstellte, gemeinsam mit dem Bassisten und Sänger John Wetton (King Crimson), dem Keyboarder Geoff Downes (Yes und The Buggles) und dem Gitarristen Steve Howe (Yes) für die Band Asia verpflichtet. 1982 wurde das Debütalbum Asia veröffentlicht, das über sieben Millionen Mal verkauft wurde und mit den Singles Heat of the Moment, Only Time Will Tell, Wildest Dreams und Sole Survivor lange die höchsten Plätze der Charts belegte. Nach 18 Monaten Tour kam das zweite Album Alpha mit Don’t Cry und The Smile Has Left Your Eyes heraus. Durch persönliche Differenzen begann danach eine turbulente Phase, in der die Band mehrmals umbesetzt wurde. Es entstand mit Carl Palmer noch das Album Astra, bevor auch er die Band verließ.