Từ đây, Chế Phi bắt đầu những năm tháng phiêu bạt trên đất khách quê người đầy tủi nhục và cay đắng. Sang Thái Lan, Chế Phi bị bắt vào trại tị nạn. Anh vừa đi hát, vừa may quần áo cho người ta kiếm tiền, vừa học xăm mình... chờ cơ hội sang Canada với ba. Trong thời gian ở Thái, Chế Phi quen và lấy một người con gái quê ở Long Xuyên. Họ có với nhau một cậu con trai. Suốt 2 năm đó, ba mẹ anh thi thoảng cũng gửi tiền nhưng trong khi Chế Phi cứ chờ hoài, chờ hoài để được bảo lãnh qua thì ông lại tỏ ra thờ ơ. Khổ quá không chịu được, Chế Phi xin về Việt Nam. Chế Phi bảo, lúc đó anh hận ba lắm nhưng sau này anh không còn hận, không còn trách ông nữa. Khi nhắc tới những chuyện này, Chế Phi gọi "đó là cái số, mà đã là cái số thì phải chịu chứ biết làm sao"! "Cúi xin đời vùi chôn dĩ vãng..." Ở Thái về, Chế Phi làm nghề may. Những lúc ngồi nhớ quãng thời gian bên Thái, Chế Phi thấy buồn rồi cầm cây đàn sáng tác thử. Lúc đó, anh Jimmy Nguyễn khuyên anh đừng lấy cái tên Chế Phi làm nghệ danh nữa, người ta nghe hoài. Vậy là Chế Phi đổi sang cái tên Lưu Hoàng Lê. Lưu là họ của cha, Hoàng là tên lót của anh, Lê là họ mẹ. Nghĩa là Phi ở giữa, gánh hai ông bà. Sau này đi hát, anh đều lấy tên Lưu Hoàng Lê nhưng người ta cứ xướng Chế Phi, riết thành quen.

Ngoài làm nghề may, Chế Phi còn đi xăm mình khi có khách tới nhờ. Cũng từ cái nghề này, vô tình, Chế Phi bị nghiện lúc nào không biết. Đó là quãng năm 1997. Anh bảo: "Ở bên Thái người ta nghiện nhiều lắm mà mình không bị. Về Việt Nam, nhiều lần mình đi xăm cho mấy người hút, mấy ngày mấy đêm trong phòng lạnh, về cứ ngủ dậy lại thấy uể oải mà qua nhà họ thì lại khỏe. Lúc đó, người ta kêu Phi thử. Phi đâu biết là ma túy. Khi lên cơn nghiện rồi thì làm gì cũng phải qua nó trước, rồi mình muốn đi đâu thì đi". Sau này, mẹ anh khuyên anh nhiều. Thấy mẹ khổ quá, anh quyết tâm đi cai nghiện. Lúc ở trong trại, cứ vài ngày, Chế Phi lại thấy có người chết. Anh rất sợ. Mẹ anh phải đem mấy cuốn kinh Phật cho anh đọc. Những cuốn kinh đó sau này lại trở thành cảm hứng cho nhiều ca khúc của Chế Phi như "Kiếp vô thường", "Nếu anh còn mẹ"... Theo lời Chế Phi, thời gian đó, mẹ là người động viên, an ủi anh nhiều nhất. Còn Chế Linh, mỗi lần có dịp về Việt Nam, ông lại lên thăm con. Khi ấy, vợ chồng Chế Phi chia tay nhau đã lâu nhưng hai người vẫn ở chung nhà, vì mẹ anh nhận con dâu làm... con nuôi. Anh nói: "Sống cùng nhà, Phi với cô ấy coi nhau như anh em vậy. Khi Phi có người yêu mới, đưa về nhà chơi, cô ấy đối xử như người em với người anh và chẳng có gì buồn hết. Thời gian đó, cô ấy cũng có người yêu mà chẳng ai dám tới nhà cả".

Vợ cũ của anh ở chung nhà để nuôi con trai tới năm 18 tuổi thì cô về quê ở Long Xuyên làm nghề buôn bán. Trở về từ trại cai nghiện, Chế Phi quyết tâm làm lại từ đầu. Anh đi hát phòng trà, sân khấu, quán bar. Có tiền lại về đưa cho mẹ. Anh bảo, khi ba biết anh đang nỗ lực làm lại cuộc đời, ba anh rất thích. Trải qua những năm tháng phiêu bạt nơi đất khách quê người, nghiện ngập, giờ anh đã 45 tuổi. Nhìn lại đoạn đời lầm lạc ấy, "Phi thấy mình lãng phí tuổi trẻ quá", anh nói. Điều duy nhất mà anh mong muốn là mọi người đừng khơi lại, nhắc lại quá khứ ấy để anh sống hướng thiện trên nốt quãng đường đời còn lại. Chế Phi có sáng tác một bài hát "Xin đời bao dung", trong đó có câu: “Cúi xin đời vùi chôn dĩ vãng, xin bao dung nửa đời phiêu lãng, sau bao năm trở về cõi sáng, khát khao đời cuộc sống ai ơi… Tôi van xin đời đừng xa lánh, xin chút tình đời bớt chông chênh. Tình cay đắng xin đời đừng đắng cay, cho tôi xin bóng mát cuộc đời”!