1950年,許冠杰與父母以及三位兄長(zhǎng)從廣州移居到香港,并定居于鉆石山。他先后就讀于鉆石山永康小學(xué)以及牛池灣恩光小學(xué)。1961年入讀圣芳濟(jì)中學(xué),中學(xué)時(shí)期對(duì)音樂(lè)產(chǎn)生了濃厚的興趣。
1964年,跟友人合組Harmonick樂(lè)隊(duì),并擔(dān)任樂(lè)隊(duì)的彈低音結(jié)他手以及主音歌手。1965年,在夜總會(huì)及麗的“樂(lè)韻之聲”作表演。Harmonick樂(lè)隊(duì)解散后,他加入了Bar Six樂(lè)隊(duì)。1966年,在英華書院念中學(xué)預(yù)科課程。