Holger Prytz begyndte tidligt at få undervisning i klaver og teori med Aage Forlev som lærer og blev optaget på Musikkonservatoriet 1947 med Anders Rachlew som lærer i klaver og Vagn Holmboe i musikteori og komposition. 1950 fortsatte han studierne i Wien med en af byens berømte klaverpædagoger, Bruno Seidlhofer, som lærer og med Felix Petyrek som lærer i komposition.
1953 vendte han tilbage til Danmark og søgte at skabe sig en karriere som pianist og komponist. De tidligste værker han medtager i sin værkliste fra 1980 (se afsnit IV, kilde 1) stammer fra midten af 1950’erne, men meget tyder på, at han komponerede klaverværker og sange allerede før konservatorieårene under Aage Forlevs vejledning. Sange, klaverværker og kammermusik dominerer værklisten frem til ca. 1960, hvorefter stipendier med ophold i Italien og studier i instrumentation i Napoli hos Antonio Cécé fører til værker for større besætninger: To kantater for kammerbesætning til tekster af Savetri Devi op. 14 og 15, 1961, den symfoniske digtning Tindan op. 17, 1964, og Symfoni nr. 1 op. 20, 1964, der er skrevet med henblik på opførelse af et konservatorieorkester. Holger Prytz deltog i radioens komponistkonkurrence 1964 med værket KlodsHans for sinfonietta der ligeledes er ”velegnet for amatører og konservatorieorkester”[1].
Fra årene omkring 1960 stammer også en række værker kammerbesætning: bl.a. en fløjtesonate i a-mol op. 7, 1958, der blev uropført i Tyskland 2011, og en kvartet Arkadisk fabel for altstemme, klarinet, cello og klaver op. 8, 1959 udgivet af Edition S. Kvartetten har tekst af den italienske digter og nobelpristager Salvatore Quasimodo, der i digtet ”La trasformazione segreta” [den hemmelige forvandling] skildrer en åkande, der fra bundens mudder trænger op til vandoverfladen, befrugtes af en regndråbe og føder en hemmelighedsfuld skabning, der forsvinder i himlen som en fugl Fønix. Musikken er tonalt forankret svingende mellem e-mol og E-dur med modale islæt og illustrerende passager i instrumenterne. Virkningsfuldt er især midterpartiet, hvor undfangelsen skildres i en duet mellem altstemme og cello. Værket er så vidt vides aldrig blevet opført.
Foruden sange til tekster af Grethe Riisbjerg-Thomsen og Jeppe Aakjær samt italienske digtere skrev Holger Prytz adskillige værker for cello og klaver – bl.a. en stor sonate op. 1, 1956-58, revideret 2000 som Grande Sonate Concertante op. 29, en cellosonate nr. 2 op. 10, 1960 samt nogle sene suiter – Deux moments musicaux op. 105 og Vier schlichte Stücke op. 106, begge fra år 2000. Den ydre anledning til de sene stykker kan have været mødet med et tysk-schweiziske musikerpar, cellisten Martin Müller-Weiffenbach og pianisten Rachel Fehr, der interesserede sig for Prytz’ musik og indspillede alle hans værker for cello og klaver på det tyske plademærke amphion og koncerterede bl.a. i Danmark med værker af Prytz på programmet.
Mellem 1964 og 1971 komponerede Holger Prytz tilsyneladende ingen værker, og i slutningen af 1960’erne begyndte han at virke som klaverpædagog i Sverige og fra 1973-88 som docent i klaver og musikteori i Norge. Korte klaverværker – præludier, etuder – dominerer produktionen fra disse år sammen med (samlinger af) sange til italienske tekster (Quasimodo) og japanske tanka-digte[2].
Af større værker fra årene i Norge kan nævnes Prytz’ 2. symfoni op. 34 til tekst af Quasimodo, udgivet af Norsk Musikkinformasjon 1987, samt en uudgivet violinsonate. Efter 1988 boede Holger Prytz i Danmark i Lønstrup og virkede som komponist. Et enkelt værk fra denne periode, Wald-Epos for kor, klaver og strygere, blev udgivet af Edition S 1992, men hovedparten af hans produktion mellem ca. op. 50 og op. 100 var ikke med blandt de musikalier, der efter hans død blev afleveret til Det Kgl. Bibliotek og er listet i KB’s Holger Prytz arkiv.