Carl Nielsen studerede på konservatoriet i tre år (1884-86) med violin som hovedfag. Hans lærer var en af Danmarks dengang betydeligste violinister, Valdemar Tofte, der var elev af Joseph Joachim, koncertmester i Det Kgl. Kapel og primarius i Neruda kvartetten.
Egentlig kompositionsundervisning modtog han ikke, men han  fik undervisning i musikhistorie af Gade og i teori af Hartmann og Orla Rosenhoff. Især Orla Rosenhoffs undervisning i kontrapunkt og fuga fik stor betydning for ham, og han fortsatte studierne hos Rosenhoff privat efter konservatorieårene.

På konservatoriet knyttede Carl Nielsen venskaber med bl.a. pianisten Victor Bendix der senere som dirigent trådte i brechen for Carl Nielsens musik, selv om de to stilistisk stod hinanden fjernt.
Læs Victor Bendixs brev til Carl Nielsen efter uropførelsen af Nielsens 5. symfoni her

Af stor betydning blev også venskabet med studiekammeraten Vilhelm Rosenberg og hans højt kultiverede familie som Carl Nielsen ofte gæstede. En forgæves ungdomsforelskelse i Vilhelms søster Margrete udviklede sig til et livslangt venskab og mange diskussioner om religiøse og filosofiske emner.

Efter konservatorieårene skulle Carl Nielsen klare sig selv som professionel musiker i København. De første år var økonomisk svære: Han havde elever og spillede i Tivolis orkester om sommeren og kammermusik om vinteren. Men først og fremmest begyndte han at gøre sig gældende som komponist. To satser for strygeorkester blev opført i Tivoli 1887, og i januar 1888 spillede Carl Nielsen første violin i sin egen F-dur strygekvartet ved en opførelse i Privat Kammermusikforening. Gennembruddet kom i efteråret 1888 hvor Balduin Dahl dirigerede Carl Nielsens opus 1, [Lille] Suite for Strygeorkester, i Tivoli ved en koncert i anledning af den Nordiske Udstilling – i øvrigt sammen med en symfonisk digtning af Cornelius Rybner).

Suitens popularitet var manifest med det samme og har holdt sig til vore dage. Musikken blev udgivet året efter af Wilhelm Hansen, og begivenheden var sammen med de øvrige tidlige værker (obostykkerne op. 2 og strygekvartetten i g-mol der blev revideret og udgivet senere som op. 13) med til at slå Carl Nielsens navn fast i den kreds af unge komponister som samledes om læreren Orla Rosenhoff i opposition til den konservative ånd, der prægede konservatoriet.

Med i kredsen var Hilda Sehested der i forbindelse med Carl Nielsens 60 års dag 1925 mindedes det indtryk, den unge komponist gjorde på kammeraterne – selvfølgelig set i lyset af de mellemliggende næsten 40 års erfaringer:

”Alle vi, der hørte til i Kredsen af Orla Rosenhoffs Elever, følte, at en Kraft groede midt iblandt os. Den glimtede i den første Kvartet, i Obosuiten, i hvert nyt Arbejde, man hørte af den unge Carl Nielsen. Der var en Uro, en Forventning om Carl Nielsen, skønt han færdedes blandt sine Kammerater med den mest hjertevindende Ligefremhed. Man havde det Indtryk, at Studier og Øvelser ikke netop fængslede ham for deres egen Skyld. Han tog af denne Kilde, hvad han havde Brug for til sin egen Vækst...” [1]