趙雅芝的爸爸是商人，媽媽是典型的家庭主婦。趙雅芝在家排行第四。兒時的趙雅芝很調(diào)皮，經(jīng)常和男孩子一起爬樹騎馬玩耍打鬧。每到吃晚飯，總要媽媽在門口喊幾下，趙雅芝才跟一起的小伙伴說拜拜，回家吃飯做功課。

1971年，17歲的趙雅芝畢業(yè)于香港天主教崇德英文書院，畢業(yè)那年，正趕上日本航空公司在香港招聘空中小姐，夢想環(huán)游世界的趙雅芝便去面試。最后如愿當上從香港飛至日本航班飛機上的一名空中小姐。之后趙雅芝所在的航班轉(zhuǎn)為長途，由香港飛至加拿大。因為厭倦了做“空中飛人”的日子，兩年后，趙雅芝正式辭去航空公司的工作。而當時正巧香港無線電視臺派人來找她作節(jié)目主持人，于是趙雅芝便開始專心向娛樂圈發(fā)展。

1973年，香港無線電視臺選舉首屆“香港小姐”，共選出五位，標準是“美貌與智慧”并重。19歲青春靚麗的趙雅芝在媽媽當提名人的支持下，參加了競選。 經(jīng)過緊張激烈的角逐，趙雅芝最終獲得這屆“港姐”競選的殿軍。