3DGS Gaussian Splatting คืออะไร? ปฏิวัติวงการ 3D Visual / 3D Scanner อย่างไง?

เร็วๆนี้มีเทคโลยีใหม่ในการ Render 3มิติ ที่สมจริงมากๆ ใช้เพียงรูปถ่ายเพียงไม่กี่รูป ก็สามารถ 3D Visual เหมือนจริง เทคโนโลยีนี้เรียกว่า 3D Gaussian Splatting หรือ 3DGS (อ่านว่า เการ์เซียน สแปลทติ้ง” ว่ากันว่าจะมาปฏิวัติวงการ Computer Graphic, 3D Virtual, 3D Render กันเลยทีเดียวเพราะทุนต่ำ เหมือนจริง กินไฟในการ Machine Training น้อยกว่า ขนาดไฟล์น้อยกว่า เราจะได้เห็นงาน 3DGS เร็วๆนี้ในหลายสื่อ

อธิบายง่ายๆ 3DGS คือการพัฒนาต่อยอดมาจาก RGB Point Cloud โดย RGB Point Cloud 1จุด แทน1ต่ำแหน่งหนึ่งสี แต่ 3DGS 1ก้อนวงรี มีตำแหน่ง มีขนาด มีสี และมีค่าความโปร่งใสของมันเอง และ เปลี่ยนได้จากทิศทางที่เรามองไปยัง Gaussian นั้นๆ

แทนที่จะคำนวน Render 3D จริงๆซึ่งต้องใช้ GPU เยอะมาก 3DGS เป็นการเรนเดอร์สี แบบ3มิติแทน ซึ่งฉลาดมากคนคิด ทำให้ขนาดเบา และใช้ทรัพยากรเครื่องน้อยกว่า ทำง่ายกว่า (ถ้าเรา Train AI mahcine ได้ดี)

ในบทความนี้ผมเขียนจากประสบการณ์ตัวเองที่คลุกคลีในวงการ 3D Scanner, Lidar Scanner มานานระดับหนึ่ง ผมเห็นครั้งแรกว้าวเลยครับเพราะดูดีมาก โดยมีข้อมูลหลายอย่างจาก Website อื่นๆ เพื่อใครอ่านเพิ่มเติมได้ที่นี่ครับ

อธิบาย 3DGS ได้ดี https://huggingface.co/blog/gaussian-splatting
เทียบ Point Cloud กับ 3DGS ได้ดี https://www.heliguy.com/blogs/posts/gaussian-splatting-faster-sharper-reality-capture-than-point-clouds/

• 3DGS – 3D Gaussian Splatting คืออะไร
• ความแตกต่างระหว่าง 3D Mesh, Point Cloud และ 3DGS
• ปฏิวัติวงการ 3D Scanner, 3D Virtual, XR, AR อย่างไร และการนำไปใช้
• วิธีการสร้าง 3D Gaussian Splatting
  • Photo ถ่ายรูปรอบวัตถุ, รอบสถานที่
  • Video ถ่ายวีดีโอรอบวัตถุ, รอบสถานที่
  • 3D Scan รอบวัตถุ, Lidar Scan / SLAM รอบสถานที่
• แนะนำ Software ฟรี!! ใช้สร้าง 3DGS
  • Shotpost ( https://www.jawset.com/ )
  • PolyCam ( https://poly.cam/ )
• โชว์งานตัวอย่าง
  • ตัวอย่างของ 3DD
  • SuperSplat ( https://superspl.at/ )
• จุดดี 3DGS
• จุดเสีย 3DGS
• ขายของครับ 3D Scanner ไว้ใช้สร้าง 3DGS, Lidar/SLAM Scan ใช้สร้าง 3DGS

3DGS – 3D Gaussian Splatting คืออะไร?

หากแปลตรงตัว Gaussian คือคณิตศาสตร์เชิงสถิติการกระจายตัวแบบมาตฐานทรงระฆังคว่ำ (พวก Percentile สถิติ) ส่วน Splatting แปลว่าการกระเด็น รวมกันแปลตรงตัวคือ การกระเด็นของเการ์เซียน แต่ถ้าเป็นภาษาที่เข้าใจง่ายหน่อย คือ ก้อนสีทรงรี ที่กระจายตัวใน 3มิติ โดยก้อนสีนี้มี ตำแหน่ง(x,y,z) มีขนาด(scale แบบ Matrix 3*3) มีสี(RGB) มีค่าความโปร่งแสง(Alpha Transparent) ก้อนสีนี้มีเป็นล้านๆก้อน เนื่องจากมีขนาด,สี และ ความโปร่งแสงของตัวเอง จึงซ้อนทับกันเรนเดอร์ให้เกิดเป็นภาพ3มิตินะตำแหน่ง(Position)และมุมมอง(Orientation)นั้นๆได้ นึกภาพ PhotoShop 2มิติ เรามีหลายเลเยอร์ซ่อนกันเป็นรูปได้  Gaussian Splatting ก้อนสีนับล้านๆก็ซ้อนกันให้เกิดรูปเรนเดอร์ 3มิติได้

เการ์เซียนสแปรดติ้ง ได้จาก Machine learning (AI) สร้างเจ้าก้อนสี ใน 3มิติ บางก้อนเล็ก บางก้อนใหญ่ บางก้อนโปร่งใสมาก บางก้อนทึบเลย

ข้างบนคือพยายามอธิบายให้ง่ายที่สุดนะครับ ไม่ได้ลงลึกสุดๆเพราะเกี่ยวกับคณิตศาสตร์ เอาเป็นว่า 3DGS เป็นเทคนิคการเรนเดอร์ที่ก้อนสี ไม่ใช้เรเดอร์ที่ไฟล์ 3มิติ เช่น Point Cloud หรือ 3D Mesh จริงๆ

ความแตกต่างระหว่าง 3D Mesh, Point Cloud และ 3DGS 

3D Point Cloud เป็นจุดนับล้าน-ร้อยล้าน ที่ลอยอยู่ในมิติ 3มิติ มีตำแหน่ง มีสีRGM ของตัวเอง เกิดจากการสแกน 3มิติ ทั้ง 3D Scanner และ Lidar Scanner โดยจุดแสดงจุดที่ผิวของชิ้นงาน ยิ่งจุดถี่มาก งานสแกนก็ยิ่งละเอียดมาก ไฟล์ขนาดใหญ่มากๆ ไฟล์บางอันใหญ่ถึง 1TB ผมก็เคยเห็นมากแล้ว 3D Point Cloud นำมาใช้วัดขนาด, สอบวัด(Metrology), วิศวกรรมย้อนกลับ (Reverse Engineer) ทำ BIM (ทางสถาปัตย์และวิศวกรรม)

3D Mesh / 3D Model เกิดจากการสร้างของเหล่าศิลปินต่างๆ อาจจะทำจาก SolidWork, Zbrush, Blender เป็น 3D จริงๆครับ อันนี้ไม่ลงลึกหลายคนเก่งกว่าอธิบายได้ดีกว่า 3D แบบนี้เราจะเห็นได้ในเกมส์, งานออกแบบผลิตภัณฑ์ งานพิมพ์3มิติ ที่เราเชี่ยวชาญและเป็นธุรกิจหลักของเรา ถ้าจะมาเรเดอร์ 3D แบบนี้ต้องใช้เครื่องที่แรงระดับหนึ่ง และ คนใช้ต้องมีความสามารถลึกระดับหนึ่งเลยถึงจะสวย

3DGS เป็นก้อนสีทรงรีที่ลอยอยู่ใน 3มิติ เกิดจากการ Machine Training (AI) โดยการนำภาพหลายภาพมา Generate Gaussian Splatting ไม่ใช่ 3D จริงๆ เนื่องจากสร้างจะเหตุการณ์จริงรูปจริงนะสถานที่จริงๆ งานที่ Render จึงสมจริงมากอย่างที่สุด และ เนื่องจากไม่ใช่ 3D จริงๆจึงเบา เล็ก และ ทำงานได้ง่ายกว่า (จริงๆมีข้อเสียเยอะเหมือนลองศึกษาจากด้านล่างครับ)

พูดแบบง่ายๆให้คนทั่วไปเข้าใจได้อย่างงี้ครับ (หากลงลึกไม่ถูกทั้งหมด แต่แบบง่ายนะครับ)

• 3D Point Cloud มากจาก 3D Scanner, Lidar เป็นจุดนับล้าน-ร้อยล้าน มีตำแหน่งและสีของตัวเอง เป็นไฟล์ 3มิติจริง แต่ใหญ่ หนัก ทำงานยาก เรนเดอร์กินไฟอย่างหนัก
• 3D Model / Mesh มาจากการปั้นใน Software 3D เป็น Mesh, Solid หรืออะไรแล้วแต่ Software จะเรียก ทำยากต้องเป็นคนมีฝีมือจึงจะทำออกมาได้สวย ทั้งเรื่อง Mapping Texture อื่นๆ
• 3DGS เป็นการเอารูปหลายๆรูป ถ่ายรูปวัตถุหรือสถานที่นั้นๆมาให้ Machine Learning สร้างก้อน Gaussian Splatting นับแสน นับล้านออกมา แต่ละก้อนสีมีตำแหน่ง ขนาด สี ความโปร่งใสของตัวเอง ซ้อนกันออกมาเป็นภาพ 3มิติสมจริงอย่างมาก

ปฏิวัติวงการ 3D Scanner, 3D Virtual, XR, AR อย่างไร และการนำไปใช้

ปฏิวัติในเรื่องเวลาในการสร้าง, ความสมจริง และ ความเบาครับ

• การจะเรนเดอร์หรือสร้าง 3D ให้สมจริงตั้งแต่ต้นนั้นยากมาก แมัจะมี 3D Scanner แล้ว หากมองที่ Visualizaion ไม่จำเป็นต้องใช้ 3D จริงก็ทำได้โดยให้ AI Training มันไ่ม่กี่นานทีก็สร้าง 3DGS ได้แล้วถ้าเข้าใจหลักการ
• เนื่องจากถ่ายจากของจริง สถานที่จริงความสมจริงทำได้มากครับ ทั้งเรื่องแสงเงา และ คุณภาพ ความชัด อยู่ที่กล้องถ่ายรูปเลย
• เนื่องจากไม่ใช้ 3D จริง การเรนเดอร์ด้วยก้อนสีแบบ 3DGS ไฟล์เล็กมากครับคือหลัก 500MB ไม่ใช่ 1TB เหมือน 3D Scanner
• 3DGS มีจุดอ่อนคือไม่ใช่ 3D จริง การปิดจุดคือใช้ 3D Scan ไฟล์ พร้อมกับ 3DGS ซ้อนกันครับ คือถ้าจะใช้ด้าน Engieer ใช้ 3D Point Cloud ถ้าจะไว้ Visualization ให้โชว์ 3DGS

วิธีการสร้าง 3D Splatting

หลักการจริงๆมีแค่ 2ขั้นตอนเองครับ คือ ถ่ายรูปให้ได้มากที่สุด (กล้องควร Setting ให้มีค่าเดียวกัน หรือปรับโหมด Maual ไปเลย) ต่อมาคือเข้า Software เพื่อเทรนให้มันเรียนรู้สร้างเป็น Gaussian Splat ขึ้นมา

        Photo ถ่ายรูปรอบวัตถุ, รอบสถานที

วางแผนการถ่ายรูปครับ โดยหลักแล้วเหมือนการถ่าย Photogrammetry คือรอบวัถตุโดยวงหลายรอบในมุมต่างๆ มุมเงย มุมก้ม Close Up จิตนาการ Path การถ่ายรูปเป็นโดมครับ เวลาปรับถ่ายให้ถ่ายอยู่ในโหมด Manual นะครับจะได้เซตค่าในแต่ละรูปให้เหมือนกัน ทั้งระยะซูม รูรับแสง AWB Exposure

        Video ถ่ายวีดีโอรอบวัตถุ, รอบสถานที

อันนี้ง่ายดีครับใช้ Video เดินรอบไปเลย หรือ ติดโดรนบินได้เลย แต่ทางทฤษฏีการถ่ายรูปจะมีกว่า โดยเฉพาะการ Setting ให้อยู่ในการปรับค่า Manaul เพื่อให้ได้รูรับแสงเดียวกัน Whitebalance ตัวเดียวกัน SpeedShutter อันเดียวกัน และ Focal Lenght อันเดียวกันครับ

        3D Scan รอบวัตถุ, Lidar Scan / SLAM รอบสถานที่ โดยถ่ายรูปคู่ไปด้วย

ตอนนี้หลาย Product เครื่องจะสามารถทำ 3DGS ได้เลยจาก Software Generate Point Cloud > มี Gaussian Spatting เข้ามาเสริมในตัว (เหมือน Photogrametry จะมีบทบาทลดลง

• SLAM GO Pro (ให้กับ Lidar Scanner แบบ Handheld SLAM200E)
• DJI Terra (License แบบ Flagship)

แนะนำ Software ฟรี ใช้สร้าง 3DGS

• Shotpost ( https://www.jawset.com/ )
• PolyCam ( https://poly.cam/ )

โชว์งานตัวอย่าง

เนื่องจากเราใช้ License Free จึงไม่สามารถ Save File ออกมาได้ครับ สามารถแค่เรเดอร์ออกมาเป็น Video ลองดูตัวอย่างของเราด้านล่างครับ ส่วนตอนนี้เริ่มมี Platform ที่แสดง Gaussian Splatting แล้วเช่น SuperSplat

         ตัวอย่างของ 3DD

           SuperSplat ( https://superspl.at/ )

จุดดี 3DGS

เป็นการปฏิวัติวงการ 3D Virtual แทนที่จะ Render 3D Files เป็นการ Render สีแบบ Gaussian แทน เพียงแค่ตอนแรกต้องใช้เวลา Machine Learning Train ให้รู้จัก Scene นี้ก่อนใช้เวลา (15นาที+) เราก็จะได้ไฟล์ 3DGS มาใช้

บอกได้คำเดียวว่าสมจริงอย่างมาก ทั้งแสงสะท้อน ความมันเงาด้าน Texture ดีสุด แต่ไม่ใช้ Pure 3D ครับให้ระวัง เป็นการเรเดอร์สีต่าง Position และ Orientation นั้นๆ

จุดเสีย 3DGS

3DGS ไม่ใช่ 3D Data จริงๆครับ เป็นการเลียนแบบ 3D Data แทนที่จะเป็น Point Cloud หรือ Mesh 3DGS ใช้ Gaussian เรนเดอร์ด้วยสีแทน ทำให้ใช้งานเชิง 3D จริงๆไม่ได้เช่น, วัดขนาดไม่ได้, บอกตำแหน่งแน่นนอนไม่ได้, เอาไฟล์มาพิมพ์ด้วยเครื่องพิมพ์ 3มิติไม่ได้, แต่งไฟล์ให้แตกต่างจากต้นฉบับไม่ได้ (ถ้าทำก็ยากมากๆ), ทำ Reverse Engineer ไม่ได้ และ BIM ไม่ได้

การแก้ปัญหาข้างต้นคือการใช้ไฟล์ 3D Scanner เข้ามาซ้อนกัน กล่าวคือ มีทั้ง 3D Scan(Point Cloud) และ 3DGS ซ้อนในตำแหน่งและแกนเดียวกัน เวลาใช้งานเชิง 3D ใช้ Point Cloud เวลาไว้โชว์สวย เรียกลูกค้า ทำให้ว้าว ใช้ 3DGS

ขายของครับ 3D Scanner ไว้ใช้สร้าง 3DGS, Lidar/SLAM Scan ใช้สร้าง 3DGS