Károlyi Pál 1934-ben született Budapesten, iskoláit is itt végezte. Kezdetben a zongora-szakra járt, majd érettségi után zeneszerzést tanult Szelényi Istvánnál.