ท่านพระยโสชเถระ เกิดในตระกูลชาวประมง ในพระนครสาวัตถี บิดาของท่าน เป็นหัวหน้าของชาวประมง 500 ตระกูล เดิมท่านชื่อว่า“ยโสชะ” เมื่อวันที่ท่านคลอดจากครรภ์มารดานั้น บรรดาภรรยาชาวประมง 500 คน ก็คลอดบุตรออกมาเป็นชายพร้อมกันในวันเดียวกัน ใช่แต่เท่านั้น ท่านกล่าวว่า เมื่อปฏิสนธิลงสู่ครรภ์มารดา ก็พร้อมกันด้วย เหตุนั้น เมื่อหัวหน้าชาวประมง ผู้เป็นบิดาของยโสชะ ทราบว่าเด็กในบ้านนั้น เกิดพร้อมกันในวันเดียวกัน กับบุตรของตน จึงให้เครื่องบำรุงเลี้ยง มีค่าน้ำนมเป็นต้นแก่เด็กเหล่านั้นด้วยประสงค์ว่าต่อไปจะได้เป็นสหายแห่งลูกชายตน เด็กเหล่านั้นทั้งหมด ได้เป็นสหายเล่นฝุ่นด้วยกัน ค่อยเจริญขึ้นโดยลำดับ ลูกชายหัวหน้าชาวประมง ได้เป็นผู้ใหญ่กว่าเด็กเหล่านั้น โดยยศ และโดยเดช เมื่อเจริญวัยขึ้นแล้ว ได้เป็นสหายจับปลาด้วยกันและมีความรักใคร่ซึ่งกันและกัน   วันหนึ่ง พวกสหายเหล่านั้น พากันถือแหไปเพื่อจะจับปลา พากันทอดแหในแม่น้ำอจิรวดี ได้ปลาทองใหญ่ตัวหนึ่ง แต่มีกลิ่นปากเหม็น เมื่อพวกชาวประมงทั้งหมด ได้เห็นแล้ว พากันส่งเสียงขึ้นด้วยความดีใจ ปรึกษากันว่า บุตรของพวกเรา จับได้ปลาทองตัวใหญ่ พระเจ้าแผ่นดิน คงจะโปรดปรานพระราชทานรางวัลให้ สหายเหล่านั้นทั้งหมดจับปลาใส่ในเรือนำไปถวายพระเจ้าแผ่นดินเพื่อให้พระองค์ทรงทอดพระเนตร  พระเจ้าแผ่นดิน ทอดพระเนตรแล้ว ทรงดำริว่า พระบรมศาสดาคงจะทรงทราบ เหตุที่ปลานี้เป็นทอง จึงรับสั่งให้คนหามปลานั้น แล้วเสด็จไปเฝ้า พระผู้มีพระภาคเจ้าพอถึงที่เฝ้าแล้วปลาตัวนั้นก็อ้าปากขึ้นกลิ่นเหม็นกลบทั่วพระนครทั้งหมด  พระบรมศาสดาทรงรับสั่งว่า ปลานี้ เมื่อก่อนเคยเป็นภิกษุชื่อว่า กปิละ เป็นพหุสูต มีบริวารมาก แต่ประพฤติย่อหย่อนในพระธรรมวินัย ในพุทธศาสนากัสสปะ สัมมาสัมพุทธเจ้า ครั้นรับสั่งดังนั้นแล้ว จึงตรัสกปิลสูตร ในเวลาจบเทศนา บุตรชาวประมง 500 คน มียโสชะเป็นหัวหน้า เกิดความเลื่อมใส จึงได้ทูลขอบรรพชาอุปสมบท ในสำนักของพระบรมศาสดา ครั้นอุปสมบทแล้ว ก็หลีกไปอยู่ที่เงียบสงัด เพื่อบำเพ็ญสมณธรรม  ครั้งหนึ่ง พระบรมศาสดาเสด็จประทับอยู่ ที่พระเชตวันมหาวิหาร ในพระนครสาวัตถี ภิกษุทั้ง 500 รูป มีท่านพระยโสชะเป็นหัวหน้า พากันมาเฝ้าพระองค์ ครั้นถึงแล้ว ได้คุยกันกับพวกภิกษุเจ้าถิ่นเสียงดังลั่น จนได้ยินถึงพระกรรณ พระองค์ทรงรับสั่งถามว่า อานนท์ ภิกษุพวกไหนนั่นมาคุยกันเสียงดังลั่นเหมือนชาวประมงแย่งปลากัน 
พระอานนท์กราบทูลให้ทรงทราบแล้ว รับสั่งให้บอก ภิกษุเหล่านั้นเข้ามาเฝ้า ตรัสถามอีก ท่านพระยโสชะกราบทูลให้ทรงทราบแล้วทรงประณามขับไล่ไม่ให้อยู่ในสำนักของพระองค์  พวกภิกษุเหล่านั้น พากันถวายบังคมกระทำประทักษิณ แล้วหลีกไป เที่ยวจาริกโดยลำดับ บรรลุถึงฝั่งแม่น้ำวัคคุมุทา เขตแดนเมืองเวสาลี เข้าพรรษา ณ ที่นั้น อาศัยความไม่ประมาท อุตส่าห์บำเพ็ญสมณธรรมเจริญวิปัสสนากรรมฐานไม่นานก็ได้สำเร็จพระอรหัตผลพร้อมกันทั้งหมดภายในพรรษานั้น  ครั้นออกพรรษาปวารณาแล้ว พระบรมศาสดา เสด็จจาริกมายัง กรุงเวสาลี ประทับอยู่ที่กูฏาคารศาลา ทรงทราบว่าภิกษุเหล่านั้น ได้สำเร็จพระอรหันต์แล้วจึงรับสั่งให้พระอานนท์มาเรียกพวกเธอมาเฝ้า พระอานนท์ได้ไปเรียกภิกษุเหล่านั้น ให้มาเฝ้าตามรับสั่ง ครั้นถึงที่เฝ้าแล้ว ได้เห็นพระองค์ นั่งเข้าอเนญชาสมาธิอยู่ พวกท่านรู้ ก็พากันนั่งเข้าอเนญชาสมาธิตาม ส่วนพระอานนท์ เห็นพระบรมศาสดาประทับนิ่งอยู่ จึงทูลเตือนถึงสามครั้งว่า ภิกษุอาคันตุกะ มานั่งอยู่นานแล้ว จึงตรัสบอกว่า อานนท์ ฉันและภิกษุอาคันตุกะ 500 รูปเหล่านี้ นั่งเข้าอเนญชาสมาธิอยู่ ท่านพระยโสชะนั้น นับเข้าในพระสาวกผู้ใหญ่รูปหนึ่ง