Develop me

이번에는 ROS2 humble에서 Intel D435 Depth Camera에 YOLOv8 을 붙여보도록 하겠습니다.이번 글의 최종 목표는 rviz에서 YOLOv8으로 분석된 Image 화면을 확인하고 결과를 publishing 하는 것입니다. 실력이 부족해서 그런지기능 하나하나를 쌓아가는게 너무 벅찬 것 같습니다.그래도 이번에는, 이미 존재하는 매우 좋은 Github repository가 있어 이를 이용했습니다. GitHub - mgonzs13/yolov8_ros: Ultralytics YOLOv8 for ROS 2Ultralytics YOLOv8 for ROS 2. Contribute to mgonzs13/yolov8_ros development by creating an account on GitH..

지난 글들에서, UR3e 에 Intel RealSense ROS2 패키지를 추가하여 vision을 달고, 고정 위치에 대해 pick and place를 수행해보았습니다. ROS2 MoveIt2 에서 UR3e + Intel RealSense Pick and Place 예제 수행점점 심연 속으로 들어왔다는 느낌이 들고 있습니다. 가끔 어떤 자료를 찾는 것 조차 버겁게 느껴집니다. 학문적으로 수준이 높아서라기보단, 특정한 주제에 대해 꽤 깊게 들어왔다는 말을 하고cobang.tistory.com 고정 위치에 대해서가 아닌 vision으로 인식된 목표 위치에 대해서 작동을 하게 만들고자 하기 때문에Depth camera에 인식된 물체가 real world 좌표로 어디에 위치하는지 변환이 가능해야합니다. 이를 위..

지난 글에서는 YOLOv8 을 이용하여RGB camera input을 Realtime Object Segmentation 수행하였습니다. YOLOv8 으로 RealTime Object Segmentation 수행하기YOLOv8 을 이용하여 간단하게 RGB Webcam의 Realtime Segmentation을 수행해보았습니다. 기존의 boundary box를 쳐주는 YOLO 는 많이 익숙하실 것이라 생각이 듭니다. Segmentation은 그에 더해 인식된 Object가 실제cobang.tistory.com 이제 어떤 물체를 segmentation 하는 것과 동시에전체 pixel에 대한 평균 Depth를 계산하여 거리 정보를 추출하도록 만들어보겠습니다. 저는 Intel RealSense D435 Dept..

YOLOv8 을 이용하여 간단하게 RGB Webcam의 Realtime Segmentation을 수행해보았습니다.기존의 boundary box를 쳐주는 YOLO 는 많이 익숙하실 것이라 생각이 듭니다.Segmentation은 그에 더해 인식된 Object가 실제로 존재하는 영역에 대해서 구분하게 됩니다. 일단 물체의 경계를 구분한다는 것 자체가 굉장히 의미가 있는 것 같습니다.물체와 배경의 차이를 모델이 정확히 인지한다는 것입니다. 속도는 GeForce RTX 2080 Ti 에서 yolov8n-seg.pt 모델을 사용한 결과약 150fps 정도의 추론 속도가 나왔습니다.Segmentation인데도 속도가 어마어마한 것 같습니다.저는 예전에 가상환경을 만들어두었기에해당 가상환경에서 yolov8을 구동시켰습..

점점 심연 속으로 들어왔다는 느낌이 들고 있습니다.가끔 어떤 자료를 찾는 것 조차 버겁게 느껴집니다. 학문적으로 수준이 높아서라기보단,특정한 주제에 대해 꽤 깊게 들어왔다는 말을 하고 싶습니다.더 솔직히 말하면, ROS2로 UR 로봇에 vision을 다는 task를 수행하는 것 자체가 금전적으로 장벽이 높고,수행하더라도 그 과정을 전부 open하지 않는 것 같습니다.대부분이 짧은 유튜브 영상에 결과물만 담을 뿐인 것 같습니다.물론 ROS2 에 대한 자료가 아직은 많이 부족하다는 느낌도 받습니다.이 글이 이 분야에 있는 누군가 또는 미래의 저에게 많은 도움이 되길 바랍니다. 이번 글은 ROS2 MoveIt2 에서 UR3e + Intel RealSense Pick and Place 동작을 수행한 과정에 대한..

BundleSDF는 RGB-D video input과 Camera Intrinsic Matrix, XMem의 Object Segmentation을 이용하여 Segment Object의 3D Pose Estimation 과 3D reconstruction 을 수행할 수 있는 방식입니다. 추가 정보는 아래 글들에서 확인하시기 바랍니다. [논문 리뷰] BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown ObjectsUnknown object에 대해 3D Pose Estimation 과 Object SLAM 기술이 동시에 가능한 BundleSDF에 대해서 살짝 찍먹해보았는데요. 저도 완전히 이해하진 못했지만 간단하게 Input과 Output의 흐..

Unknown object에 대해 3D Pose Estimation 과 Object SLAM 기술이 동시에 가능한BundleSDF에 대해서 살짝 찍먹해보았는데요.CVPR 2023 에서 발표된 논문입니다.저도 완전히 이해하진 못했지만 간단하게 Input과 Output의 흐름과 사용된 방식들을 이해해보려고 했습니다. 생각보다 아직은 적용하기에는 무리가 있어보였습니다. 물론 제 실력은 훨씬 열등하지만...  그래도 아래 링크를 눌러 확인해보시면 그 기술은 굉장하다는 생각이 들었습니다. BundleSDF: Neural 6-DoF Tracking and 3D Reconstruction of Unknown ObjectsWe present a near real-time method for 6-DoF tracking ..

ROS2 humble에서 기존에 존재하는 workspace 내부에realsense2 를 빌드하겠습니다. ROS2 MoveIt2 이용하여 UR3e Pick and Place 수행하기이전 글에서 real UR3e 모델에 대해서 ROS2 Moveit2를 이용하여 Path Planning까지 수행해보았는데요, ROS2 humble에서 UR3e 작동 및 MoveIt2 Path Planning 연구원에서 정말 좋은 경험을 많이 하는 것 같습니다. 언제cobang.tistory.com  ROS2에서 realsense 용 별도 패키지를 설치하실 분은 아래 링크 과정을 따르시기 바랍니다.저는 이미 UR 로봇을 빌드한 패키지가 있고,이 위에서 Realsense D435를 작동시키려 하기 때문에 여러 과정들이 생략되어있습니..

Camera Intrinsic Matrix? Camera Intrinsic Matrix는 카메라의 내부 매개변수를 나타내는 행렬로,컴퓨터 비전에서 카메라의 기하학적 및 광학적 특성을 정의하는 데 사용됩니다.이 행렬은 카메라가 3차원 세계를 2차원 이미지로 어떻게 투영하는지에 대한 정보를 제공합니다. Depth Camera의 Camera Intrinsic Matrix 는 다음과 같은 형태를 가집니다.여기서,( f_x, f_y ): 카메라의 초점 거리(focal length).  f_x 와  f_y는 각각 x축과 y축 방향의 카메라 렌즈의 초점 거리를 나타냅니다. 이 값들은 픽셀 단위로 표현되며, 카메라 렌즈의 확대 능력을 나타냅니다.( c_x, c_y ): 주점(principal point). 이는 카메라..