วัดพระลอยสร้างขึ้นเมื่อสมัยใด ไม่มีหลักฐานปรากฏแน่ชัด แต่ก็พอจะเชื่อได้ว่าเป็นวัดเก่าแก่วัดหนึ่ง เมื่อพิจารณาจากอุโบสถซึ่งชำรุดทรุดโทรมมากก็พอจะประมาณได้ว่าวัดนี้ต้องสร้างมาอย่างน้อย ๒๐๐ ปีล่วงมาแล้ว
     เมื่อพ.ศ. ๒๕๐๔ นายตำรวจสูงอายุผู้หนึ่งเดินทางจากจังหวัดนครปฐมมาหาหลวงพ่อแต้ม และถามว่า "วัดนี้สร้างแต่สมัยไหน" หลวงพ่อก็ตอบไปว่า "ไม่ทราบเพราะถามใครก็ไม่ได้เรื่อง" นายตำรวจผู้นั้นจึงได้ชวนไปดูอุโบสถ ได้ตรวจดูอิฐและใบเสมา ใบเสมาเป็นหินแดง มีรูปลายกระหนก นายตำรวจจึงกล่าวสันนิษฐานว่า วัดนี้คงจะสร้างในสมัยอู่ทอง แต่เป็นตอนกลาง ไม่ใช่ตอนต้น

     ในปีเดียวกัน หลังจากการสนทนากับนายตำรวจเรื่องประวัติวัดพระลอยประมาณ ๑๕ วัน หลวงพ่อแต้มได้ไปเยี่ยมน้าผู้หญิงซึ่งอยู่ในละแวกนั้นมาตั้งแต่เล็กๆ และถามความเป็นมาเกี่ยวกับวัดพระลอย ได้รับคำบอกเล่าเกี่ยวกับวัดพระลอยว่า ผู้ใหญ่ได้บอกกันต่อๆ มาว่า ก่อนที่จะสร้างวัดนี้ มีพระนาคปรกสร้างด้วยหินองค์หนึ่งลอยมาติดอยู่ที่ริมตลิ่ง ชาวบ้านจึงได้ช่วยกันชลอขึ้นจากแม่น้ำสุพรรณบุรี และสร้างวัดขึ้นขนามนามว่า "วัดชลอ" อย่างไรก็ดี กิตติศัพท์ของคำว่า "ลอย" ก็มิได้จากหายไป คนบ้านใกล้และไกลต่างก็เรียกกันว่า "วัดพระลอย" อยู่มานานๆ เข้า คำว่าวัดชลอก็หายไป และก็เรียกกันว่า "วัดพระลอย" มาจนตราบเท่าทุกวันนี้ ส่วนวันนี้จะสร้างมาแต่สมัยไหน น้าผู้หญิงของหลวงพ่อก็ไม่ทราบ ทราบแต่ว่าเมื่อเกิดมาและจำความได้ก็เห็นว่าวัดนี้สร้างอยู่แล้ว
     หลวงพ่อได้ถามน้าผู้หญิงอีกว่าตั้งแต่น้าผู้หญิงจำความได้ ปู่ย่าตายายเคยเล่าให้ฟังบ้างหรือเปล่าว่าวัดนี้เคยสร้างมาหรือไม่ น้าผู้หญิงได้ตอบว่าวัดจะเคยร้างหรือไม่ ก่อนท่านเกิดนั้นไม่สามารถทราบได้ เพราะไม่เคยมีผู้ใดเล่าให้ฟัง แต่นับตั้งแต่จำความได้มา คือตั้งแต่อายุ ๓ - ๔ ปี พ่อเคยมาช่วยทำกุฏิที่วัดนี้ เป็นกุฏิเสาไม้จริงเครื่องบนและฝาไม้ไผ่ หลังคามุงแฝก ได้สร้างกุฏิ ๒ หลัง และหอสวดมนต์เล็กๆ ๑ หลัง ขณะนั้นหลวงพ่อคล้ายเป็นเจ้าอาวาส ต่อมาอีกประมาณ ๒ - ๓ ปี หลวงพ่อคล้ายก็ย้ายไปอยู่ที่อื่น มีหลวงพ่อทิมมาแทน อยู่ได้ ๔ - ๕ ปี หลวงพ่อทิมก็ย้ายไป หลวงพ่อแก้วมาเป็นเจ้าอาวาส ในขณะนั้นมีฆราวาสชื่ออาจารย์จอนได้มาปฏิบัติวัดนี้อยู่หลายพรรษาจนกระทั่งอุปสมบทเป็นหลวงพ่อจอน อีก ๒ - ๓ ปีต่อมาหลวงพ่อแก้วถึงแก่มรณภาพ หลวงพ่อจอนได้ขึ้นเป็นเจ้าอาวาสแทน วัดนี้จึงได้เจริญขึ้น ได้นิมนต์อาจารย์คง บ้านวัดแค มาเป็นอาจารย์สอนหนังสือบาลีมูลกระจายเป็นตัวขอม ส่วนหลวงพ่อจอนก็เป็นหมอมีชื่อเสียงโด่งดังในจังหวัดสุพรรณบุรี ในยุคนี้วัดมีความเจริญมากในด้านการศึกษา แต่ในด้านการก่อสร้างไม่ค่อยเอาใจใส่ เนื่องจากหลวงพ่อจอนชอบเป็นหมอและพ่อค้าไม้ กระทำอยู่อย่างนี้วัดก็เสื่อมลงเป็นลำดับ เมื่อหลวงพ่อจอนชราภาพลงวัดก็รกรุงรัง กุฏิที่มีอยู่ ๔ - ๕ หลังก็ทรุดโทรมลงไป หลวงพ่อจอนถึงแก่มรณภาพ เมื่อ พ.ศ.๒๔๘๓ หลังจากออกพรรษาแล้ว วัดก็ร้างไปหลายเดือน ในปี พ.ศ.๒๔๘๓ คณะสงฆ์ได้อาราธนาหลวงพ่อแต้มมาเป็นเจ้าอาวาส ในขณะนั้น ยังมีกุฏิไม้เหลืออยู่บ้าง ซึ่งอายุประมาณ ๑๐๐ ปี
     น้าผู้หญิงของหลวงพ่อผู้เล่าเรื่องนี้ชื่อ นางอิ่ม (แป๊ด) เกตุปลั่ง ขณะนั้นอายุ ๙๓ ปี (พ.ศ.๒๕๑๐) ยังไม่หลงลืมอะไร และยังคงพำนักที่บ้านใกล้วัดพระลอย
     พิจารณาจากคำบอกเล่าของน้าผู้หญิงของหลวงพ่อแต้มและกุฏิไม้สักซึ่งมีอยู่เมื่อตอนหลวงพ่อย้ายมาเป็นเจ้าอาวาส (ปัจจุบันกุฏิดังกล่าวได้รื้อเสียแล้ว) พอจะประมาณได้ว่าวัดพระลอยได้สร้างมาอย่างน้อย ๑๐๐ ปี เศษ เมื่อพิจารณาอุโบสถเก่าและใบเสมารวมทั้งคำบอกเล่าต่อๆ กันมา เรื่องชื่อของวัดก็พอจะกล่าวได้ว่าวัดนี้คงลงมือสร้างมานานกว่านั้น
     หลักฐานสำคัญอีกประการหนึ่งคือพระลอย เป็นพระพุทธรูปนาคปรก ทำด้วยหิน ซึ่งเป็นพระพุทธรูปสำคัญของวัดนี้ พระพุทธรูปองค์นี้เป็นพระพุทธรูปสมัยลพบุรี และตามคำบอกเล่าต่อๆ กันมา ว่าได้ลอยมาติดริมตลิ่งของวัด แล้วจึงได้มีการสร้างมาระหว่างปลายสมัยอู่ทองกับต้นสมัยอยุธยา