Abstract 보행자 검출은 중요한 부품 안전을 위한 무인차량. 또한 각 트래픽과 차량 감시. 외부 벤치마크 그것의 주제와 이것은 가지다 보이다. 난자 문제 적용하다 실체 사용하는 시나리오. 이 순수하게 이미지 기반 보행자 검출 접근, 이 최고의 결과는 달성하다 CNN 그리고 감독하는 몇가지 검출 프레임 워크는 만들어지다 멀티 큐 접근. 이것은 작동합니다. 우리는 개바하다 새로운 보행자 무인차 exploits 라이다 데이터. 추가적인 시각 정보, 이것은 제안된 접근. 라이다 데이터는 사용됩니다. 발생하다 지역 제안 처리하다 이 3가지 차원적 포인트 클라우드 이것은 제안하다. 이것은 앞서 처리하다 이 최고의 CNN 분류기는 우리는 가지다 좋은 조정 물체 검출. 우리는 확장적으로 evaluated 평가된 이 제안된 검출 처리 Kitti 검출셋. 이 실험 결과는 보이다 이 제안된 라이다 스페이스 클러스트 접근 제안하다 좋은 효율적인 방법 발생하다 지역 제안 이끌다 높은 회수 레이트 그리고 적은 misses 보행자 검출. 이것은 나타내다 랑이다 데이터 제안하다 auxiliaryy 정보 CNN 베이스 접근법. 소개 이 주요 기준 넓은 주행차 기술은 능력 중대하게 줄이다 이 숫자 로드 사고, 이 업무 높은 따라서 검출 주의 agents 이 차량의. 두 개의 종류 센서는 사용됩니다. exploited 차량 다루다 이 업무. 카메라 라이다. 이 목적 latter는 측정되다 정확한 거리 사이 센서와 다겟. 이것은 자율주행차의 case 이것은 제공하다 거리 정보 둘러싼 물체 따라서 차량 지역. 이 최근 라이다 센서는 발생하다 dense 3D 포인트 클라우드. 사용하다 이 센서 2개의 방법 오르다 풀다 물체 보행자 검출. 이 첫번쨰 하나는 사용하다 라이다 센서 그리고 주의하다 만들다 맵을 agents 움직임 둘러싸다 차량 누적하다 temproal 일시적인 정보. 이 2번째 접근 구성은 적용하다 컴퓨터 비전 알고리즘을 잡힌 이미지. 이 최근 개발 deep neural 네트워크는 이미지 분류. 쵝ㄴ 최고 수행은 달성하다 CNN 에 의해서 이것은 또한 몇가지 연구 detection. 이 카메라 이미지는 결합하다. 추가적인 정보 하도록 disparity 맵 스테레오 카메라 덴스 뎁스 맵 언급하다 depth 측정. 이 논문은 우리는 나타내낟. multimoda 접근 구성하다 만들다 depth 측정 만들다 이미지 지역 제안 최고의 CNN 불리우는 ResNet 시각 물체 검출. 이 주요 물체 연구는 나타내다 사용 그리고 사용 라이다 데이터 추가적인 정보 원천. 우리는 개발하다 훌륭한 framework 만들다 제안 깊이 측정. 우리의 hypothesis 는 사용하다 깊ㅇ 정보와 proir 정보 대해서 사이즈 물체. 우리는 줄이다 찾다 space 그리고 이미지 제공하다 후보 하도록, 시프드를 올리다 검출 알고리즘, 추가적으로 우리는 최그이 구성하다 사용 깊이 측정 만들다 이미지 지역 제안 최고의 CNN ResNet 시각적인 물체 검출. 이 주요 물체는 이 연구는 보이다 사용 그리고 사용 라이다 데이타, 추가적인 소스 정보. 우리는 개바하다 우리는 사용하다 줄이다 search 정보 그리고 이미지 제공되다 후봐. 그리고 빠르게 검출 알고리즘, 이것은 추가적인 우리는 가설을 세우다. 이 이전 정의 이 지역 사이즈 후보 바운딩 박스 우리는 감소시키다 숫자 false 검출. 검출 framework 라이다 다운 샘플링 지반 제거 클러스터링 하고 클러스터 유효성 확인 이미지 투영 그리고 시가적인 관점 분ㄹ. score 를 높이기. 이것은 아이디어 클러스터링 된 3D 포인트 물체 라이다. 이것은 시작하다 원 측정 다운샘플링 따라하다. 제거된 포인트 속한 땅에. 다음으로 암축된 베이스 클러스터링 알고리즘은 만들다 후보를 그것은 투영됩니다. 이미지 스페이스 제공하다 지역. 이 주요 우리의 바ㅓㅂ은 보입니다. figure 1 이것은 제안된 접근법 평가된 kitti 데이터 셋. 우리는 제공하다 exploiting 라이다 데이터 결과 in higher 회사 하다 rates 그릭 less misses 보행자 검출. 우리는 논문 말미에 만들다. 다음과 같이 이것은 섹션 정보 이전 일 관련된 주제. 묘사하다 제안하다 상관적인 metrics 수량화하다 효율 우리이 접근 우리의 실험적 결과. 마지막으로 결과과와 앞으로의 작업에 대해서 요약하였습니다. 관련 업무. 우리는 다음 내역으로 우리는 짧게 나타냅니다. 라이다 기반 검출 시각 보행자 검출 방법. 강화된 개요 이전 보행자 검출 접근은 발견할 수 있습니다. 라이다 기반 검출은 자율차 이후에 인기가 많아짐. 다른 접근 나타내다 이 센서. 이것은 creation 각 occupancy grid 맵. 이 맵은 나타내다 래이저 측정 밀도 발생됩니다. 계산하다 2가지 2차원 히스토그램 포인트 클라우드 그것은 투영됩니다. x-y 플랜에 이 확률은 추정합니다. 존재 osbtacle 은 평가됩니다. 계산하다. posterior probability 기반의 일시적인 데이터 이 베이시안 일시적인 필터링은 강조하다 이 움직이는 물체를 둘러싸다. 이 사용된 그리드 맵은 허가하다 확인하다 고정적인 물체 움직이는 물체. 이것은 일시적으로 사용됩니다. 검출하다 이 둘러싸는 물체 하도록 모니터와 예측하다 움직임 다른 로드 사용자. 또 다른 접근법은 사용됩니다. 4개의 층은 검출되다 보행자 필터링함으로 신호 각가의 레이저 플렌과 각ㄱ의 수행하다 퓨전 그리고 다른 검출을. 라이다 카메라 퓨전 중에서 다른 다른 연구자는 사용하다 깊이 맵을 칼래 채널 수행하다 검출. 이 깊이 맵은 dense 발표 라이다 측정. premebida 제안하다 사용하다 sparse 레이더 데이터를 발생하다 깊이 정보 사이즈 이미지 사용하여 bilateral filtering 이 같은 아이디어는 적용되다 시가적인 접근 사용하다 steroero 카메라 발생하다. disparity 맵 대체하다 깊이 맵. 우리의 방법은 공유하다 같은 아이디어 사용하다 깊이 정보 줄이다 search space 이 저자는 설명하다 차량 검출 트래킹 알고리즘 기반한 단순한 레이어 라이다. 이 첫 클러스터는 라이다 데이터 전에 다시 만들다. 이전 모양 각 물체 베이스의 기반한 정보. 제안하다 이 비교적 접근법. 하나의 레이어 레이저 래이지는 사용됩니다. 클러스터 그리고 분류하다 물ㅊ. 이 평행은 클러스는 분류됩니다. 이미지 공간. 이 점수와 합ㅂ병은 같이 만들다 최고의 결정을. 하나의 알고리즘의 late fusion dense 라이다 기반의 이미지 기반의 검출은 제안됩니다. 이 authors 적용하다 지역 추출과 unary 분류 각 source 분류. 이 퓨전은 만들어지다 찾다 관련 사이 물체 후보와 퓨전 그들의 바운딩 박스. 대신하여 사용하다 2개의 독립적인 분류기 이미지와 라이다. 우리는 발생하다. candidate 지역 사용하다 분류적인 라이다와 분류 그들 기반한 시작적인 정보. 이 알고리즘은 설명되어 있습니다. 기반의 우리의 접근 우리는 오직 사용합니다. 하나의 레이저, 그러므로 줄이다. 복잡성 포인트 클라우드 비용 줄이다. 정호가성 바운딩 박스 우리의 framework 이 laser scanner는64개를 가집니다. 이것은 중요합니다. 생산하는데 높은 질의 제안. 참으로 이 측정 다루다 전체적인 물체 그 제공하다. 정확한 기하학 각 클럿터. 이 장점 우리의 방법 높이다 다른 처리하다 스텝 각 포인트의 각 중요한 이 클러스터의 질. 시각적인 보행자 검출. 이 CNN 은 인공 뉴럴 네트워크입니다. 포함하는 많은 convolutional layers 를 이것의 레이어는 배우다 다수의 필터 사용하다 작은 사이즈 convolve 인풋 하기 위해서. 이 유연성은 그들이 지속적으로 향상되도록 합니다. 훌륭한 설계 디자인. 이것의 tlstjsgkadms tnwjdehlf tn dlTtmqslek. gnsfus tlrks. qnsfb tmvlem rmflrh tngod dlrjtdml chlrhdml tngoddmf dnlgotj dl shsansdms dnflsms ResNet 을 사용합니다 검출을 위해서 이 키 contribution 은 확인하다. 작동 우리는 convoltuonal 층 연결하다 이 인풋 그리고 아우숫 각각의 reisudal 블랙 그리고 propagte 오직 다른 사이 현재 block 인풀과 결과. 이 다른은 사용됩니다. 다른 레이어 ㅓ락하다 배우도록 복잡한 구조 빠르게. 이 중요한 팩터 기여하다. 이것은 사용됩니다. 다른 네트워크 컴퓨터 비전은 불리웁니다. 전송 러닝 이 기술은 구성되다 사용하다 CNN 이미 훈련되다. 다른 데이터 베이스 상당히 줄이다 훈련 타임. 이 기술은 employed 이 작업 find-tune ResNet. 하도록 평가하다 지역 제안 접근 제안된 섹션, 우리는 비교하다 이 지역 제안 네트워크 빠른 RCNN 이 RPN 은 intended 줄이다. 이 찾은 space 그것의 이미지 그리고 만듭니다. 지역 employing 독립적인 라이다와 그리고 분류합니다 그것들의 기반으로 시각적인 정보. 그것의 알고리즘은 설명됩니다 다른 우리의 접근법 그들의 우리는 2.2 Visual Pedestrian Detection CNN 은 인공 뉴럴 네트워크 포함하다 많은 convolutional layers 그들의 레이어는 배우다 다른 필터 보통 작은 사이즈, 그것의 convlovle 인풋과 아웃풋. 그것의 유연성 CNN 허락하다 그들의 그들의 CNN 허용하다 지속적으로 향상되다 참신한 설계 디자인. 이것의 새로움은 수정하다 훈련 시간. 분류 속도, 수행. 이 최신의 performance 때문에 이 논문은 우리의 사용하다 residual network 검출을 위해서 이 키는 기여하다 ResNet 은 추가되다 확인하다 운영 convlotuional 층 이 연결 이 인풋 아웊ㅅ울 각각 레지듀얼 블록 그리고 propagate 유일하게 차이 다른 최근 블락 인풋과 아웃풋 이 다른 것은 사용됩니다. 다른 층, 허락하다 그것이 배우도록 복잡한 설계 ㅏ르게. 이것은 중요한 요소입니다. 기여하다 이 사용 뉴럴 네트워크 컴퓨터 비전은 불리웁니다. 전송 러닝 이 기술은 구성되다 사용하는 CNN 이것은 이미 훈련되다. 다른 데이터 베이스 사용하여 CNN 상당히 줄이다 훈련 시간을 이 기술은 emoloyed 이 작업에 하도록 평가하다 이 지역 제안 접근 제안된 우리는 비교하다 지역 제안 네트워크 사용한 RCNN RPN은 의도되다 줄이도록 이 search space 이 이미지 추출하다 지역 흥미 사용하는 neural network 이 지역 제안 네트워크 추론하다 이 바운딩 박스 이미지 그것 이전 분류 업무 이 언급되다 이 연구 우리는 주로 집중하다 보이다 혜택 사용하는 레이저 스캐너 이것은 발생하다 지역 제안 전체적인 검출 프레임워크. Methodology 방법 이 라이다 센서는 렌더합니다 밀접하고 정확한 3차원 포인트 클라우든 설명된 발생시키다 후보 분류하다 이것은 수행됩니다. 클러스터링 이것의 푕ㄴ트 클라우드. 이 숫자는 줄이다. 유효성 검사를. 이후에 클러스는 투영됩니다. 이미지 스페이스 그리고고 통해서 시각적인 측면 효과 생산하다 마지막 후보를. 이 양은 지역 제안 발생된 이 깊이 측정은 예민하다 캘리브레인 그리고 과정 3차원 포인트 클라우드. 밀집도 포인트는 높고 부정적인 영향 질 클러스터링 계산 시간. 우리는 결정하다. 적용하다 다운샘플링 그리고 제거하다 포인트 대응 그라운드. 이 밀집도 포인트는 높고 가지다 부정적인 영향 질 클러스터링 계산 시간. 우리는 결정하다 적용하다 다운 샘플링 제거하다 포인트 대응하다 글라운드. 3.1 생산 이미지 제안 데이터 줄이기. 줄이다. density 라이다 포인트 향상하다 스피드 클러스터링 없이 협력하다. 효율. 이 밀집도는 함수 거리 센서와 흐르다 사각 룰. 그러므로 이 분류는는 deterministic 이 아니다. 즉 이것은 depends on 신 geometryy 샘플링을 줄이다 적용하다. 다음과 같이 이 밀집 참고는 선택되다 이 거리축 그리고 별개의 것으로 구분하다. 모든 포인터에 대해서 하나의 별개의 것으로 구분하는 스텝 이 데이터는 줄어들다 따라서 밀집 reference 만약 밀집도가 refrence value 보다 높다면 이 결과 밀집 차이는 다음과 같습니다. Ground extraction 땅 추출. 이 원기 floor points 는 사용하다 클러스터링 과정. 용이하게 합니다. 이 수행하다. 우리는 가정하다 낮은 포인트 z axis 가 floor 우리는 추ㅜㄹ합니다. 별개로 floor 주어진 파라미터 각 qaure 가장 낮은 포인트. 그런 다음에, 이 다른 포인트 합리적인 작은 거리 낮은 참고는 또한 계산됩니다. 이 플랜은 발견됩니다. 계싼합니다. its speed 그리고 단순함 그리고 수입 과정 이 random sample RANSAC 알고리즘은 여겨집니다. 이 latter는 반복적이고 결과적으로 계산 시간은 non-deterministic. 추가적으로 이 라이다 센서의 성질은 발생합니다. 불규칙적인 밀집 측정. 물체는 가지다 높은 포인트 밀집도 땅 보다 그러므로 그것은 변합니다. Clustering 우리는 요구하다 단순하고 빠른 클러스터링 알고리즘 그것은 다른 초기화를 필요로 하지 않습니다. 따라서 이것의 criteria 우리는 선택합니다. 밀집 기반의 spactial clustering 적용 알고리즘을 이것은 밀집 베이스 알고리즘은 고안됩니다 컨셉 밀집 도달 가능성과 밀집 연결. defined by a circle centered on q of radius EPS. density-connected 점은 연결됩니다. q 만약 포인트가 p 와 q 밀집 도달하다 밀집 연결되다. 이 포인트 만약 이 점들이 both, p 와 q는 density 도달가능하다. from o. 이 알고리즘은 방문하다 모든 점들을 그리고 각각 aggregates 모든 대응적 접근 가능한 포인트 대하여 파라미터 EPS 그리고 MinPts. MinPts 정의하다 최소의 숫자 포인트 하도록 클러스터 포함하다 그렇지 않으면 이 그룹은 연겨지다 noise EPS 는 파라밑 그것을 결정합니다. 최대치 허가된 거리 2개의 density-reachable 점들. 이 투영하다 클러스터 이 이미지 스페이스 우리는 발생하다 candidates 결정적으로 Validation, ratio and size 조정. 하도록 발생하다 더욱 정확하고 candidate 제안. 우리는 만들다 가정 시각적 측면 보행자. 이 후보자들은 고려됩니다. 넓이 클러스터는 크다. 0.1 이 높이 0.4보다 크다 깊이 1.2 보다 낮은. 이 모양 후ㅂ는 변합니다 2가지 방법으로 낮은 바운드는 적용되다. 조정하다 그라운드 층 그리고 과전 candidates는 조정되다 고정된 값. 이 운영은 효율적입니다 가지다 지속적인 input size 분류와 그리고 피하다 펴다 효과 resizing 효과. 이 선택하다 최고의 파라미터 관점 비율 상관관계 우리는 조정하다 최고의 정확성과 가능성 각각 파라미터 값들 ㅇ결과는 다음과 같습니다. 3.2 분류 이 분류는 수행됩니다. cnn 이 논문은 우리는 사용하다 인기있고 좋은 성능의 resdual netwrok 이 특별성은 놓여있습니다 ㅅ로운 설계 구성되다. residual blocks 그들은 제공하다 이 장적 더 안정적인 훈련과 빠른 수렴. 이 네트워크는 미리 훈련된 ImageNet 데이터 입니다. 우리는 좋은 결과를 가지다. 포함한 3740프레임. 좋은 튜닝을 하는 동안 우리는 적용하다 데이터 증가 뒤집다 인풋 이미지. 그러므로 더블하다 양 긍정적인 들어가는 샘플. 최적은 수행됩니다. 화귤ㄹ적인 gradient 감소와 함께 배우다 rate value 이 훈련 took 2500 반복 batch 사이즈 cluster propsoal 효율성과 오케이요. 4. 실험 이 장에서 우리는 첫째로 공개하다 데이터셋과 평가하다 metrics. 다음으로 실험 결과는 수행되고 논의됩니다. 데이터 셋과 평가. 우리는 사용하다 키티 데이터 셋을 실험에 따라서. 이 particularities 이 데이터셋은 관하여 보행차 검출 몇가지 라벨 높은 occluded 그리고 숫자 물체 사이즈 높다. 이 y 축 사이즈는 다양하다 13에서 294 픽셀 보행자 더욱이 이 정렬은 coherent 통하여 이밎 그리고 지속적인 소개하다 어려움 분류기 배우다 지역화하다 캔디데이터 정호가하게. 이 트레이닝 셋은 구성되다 7481 이미지 그리고 라벨 테스트셋은 사용가능하다. 결과로서 모든 결과는 보고됩니다 이 작업에 계산됩니다 모든 유효한 셋트에. 비슷하게 이 제공된 트레이닝 셋은 분류됩니다. 다른 subsets 사용됩니다. traning 셋 그리고 유효성셋 우리의 실험 3740 프레임은 사용됩니다. 이 label matching 분류는 교차점 대하여 IoU 묘사됩니다. Bp 와 함께 이 검출 바운딩 박스는 그라운드 바운딩 박스입니다. 수많은 검출 같음 ㅜㄹ체는 세어집니다. 다른 false positives 4.2 실험 결과 이 비교 다른 지역 제안 schemes 관하여 그들의 영향 on misses 그리고 recall rates 주어집니다. 이 table In the table, clustering 관하여 우리의 제안된 방법 라이다 데이터의 베이스에서 슬라이디 윈도우는 제안됩니다. 분석하다 이미지 슬라이디 윈도우 scheme 빠르기 RCNN 사용됩니다. 그것의 RPN 기반한 시각적 정보. 관찰된 제안된 접근 제안하다 더 나은 misses 그리고 높은 recall rates 특히, 비교적인 지역 제안 framework 제안된 시각적 정보. 즉 이 하나의 실용적인 빠른 RCNN 이 줄이다. 낮은 검출률 중요한. 이 나타내다 라이다 데이터는 사용되다. 추가적으로 시가적 정보. 향상시ㅣ다. 숳ㅇ CNN 베이스의 보행자 검출 시스템 줄이다 놓친 검출 올리다 횟율. 주의하다 일반적으로 이 recall rate 는 매우 예민하다 관하여 제안된 ratio 수행 비교에 대하여 우리는 수정하다 aspect 비율 값 최소화하다 숫자 높친 라벨들 추가적으로 이 파라밑는 다른 접근은 영향을 주도 중요하게 리콜 값을, 예를 들어 슬라이딩 윈도우는 oeverlap 적절하게 2개의 label 하도록 접근하다 각각의 우리의 접근법은 다루다 2개의 가까운 물체 효율적으로 때 그들이 클러스트 각각의 비록 RCNN은 일박적으로 물체 검출 framework 우리는 주의깊게 적용합니다 이 관점 결과 제안 아웃풋 가지다 대표적인 비교. 테이블 1의 검출률 라이더 클러스터링 달성하다 높은 reall 비율 그리고 다른 OuT 값들. 더욱이 비교하여 이 슬라이딩 윈도우 scheme 이것은 줄이다. 이 숫자 지역 4009 307 wpdksehlek. 테이블2. 이 계산적인 오버헤드는 결정하다 candidate 지역 이 negligible 보이도록 마지막 칼럼 테이블2 즉, 이 제안된 접근은 줄이다 양 계산 중대하게 관하여 슬라이딩 윈도우 scheme. 비교하여 이 시각적인 정보 관하여 지역 extraciton 빠른 RCNN employing 라이다 데이터는 요구하다 더욱 처리 시간을 그러나, 고려하다 이 검출 시간, 제한된 2번째 칼럼 테이블2, 이 차이는 더욱이 무시됩니다. 이 검출 시간 referes 는 inference 시간 이 지역은 fed one by one 분류 네트워크. 비교 다른 지역 추출 방식. 이 마지막 수행 보행자 검출 실시간 시나리오 강력하게 depends on 소 투닝 파라미터, 바운딩 박스 적용, 그리고 non-maximum suppresion 함수. 참고로 이 max recall 은 바운딩됩니다. 지역 제안 접근 이전 실험에서 본 것 같이. 그리고 정확성은 높게 의존합니다. 검출이후에 압력. emploed 이후에 Table3 은 보이다 명확한 차이 사용하다 클러스터 후보자 비교하여 사용하다 sliding 윈도우. 기대한바와 같이 이 act 줄이다 숫자 candidates 분류하다 impacts 그 precision by decreasing 숫자 false positives. 우리는 관찰하다 absolute 증가하다 약 20 퍼센트 중간 어려움 평균 정확성. 이 recall 은 impacted 또한 줄어들다 숫자 false negatives. 다시 주의하다 목적 연구는 보이다 혜택 employing 라이다 데이터 향상시키다 지역 제안서. 그러므로 우리는 결합된 제안된 접근 generic 최신 물체 분류 framework 명명하여 ResNet 설립하다 정교하고, 최적화된 CNN 기반의 보행자 검출 시스템은 넘어 scope 논문의 그러나, 이 제안된 아이디어는 exploting 라이다 정보 관하여 향상된 지역 제안서 도록 포함된, 최신식의 보행자 검출 접근. 검출 REsNet, sliding windowm RsNet clustering평균 Average precision 다른 검출 schemes 겨로가 이 논문에서 우리는 제시하다 참신한 지역 제안 프레임워크 기반의 깊이 측정 라이다로부터. 이 실험ㅇ 결과는 보다 성능 얻다 사용하여 우리의 지역 제안 접근. 이것은 제안하다 줄이다 사진 search space 이 양은 놓친 검출 증가하다 recall 이점 우리의 지역 제안 resides 사실 그것은 적용되다 이전의 검출 framework 이것은 다시 찾다. 그러므로 지속되다 확장시키다 이 결과 더욱 효율적이고 깊은 네트워크 트레이닝 보행자 검출. 요약하자면 라이다 데이터는 제공하다 보완적인 정보시각정보에 그리고 사용될수 있따. 향상시키다. CNN 기반 보행자 검출 접근 앞으로. |
Programming/Sensors
