i Trafik Levhası Belirleme ve Tanımlanması Ersin
Transkript
i Trafik Levhası Belirleme ve Tanımlanması Ersin
i Trafik Levhası Belirleme ve Tanımlanması Ersin Demir LİSANS TEZİ Bilgisayar Mühendisliği Bölümü 21.01.2011 ii Traffic Sign Detection and Recognition Ersin Demir SCIENCE THESIS Department of Computer Enginnering 21.01.2011 iii Trafik Levhası Belirleme ve Tanımlanması Ersin Demir Eskişehir Osmangazi Üniversitesi Mühendislik Mimarlık Fakültesi Lisans Yönetmeliği Uyarınca Bilgisayar Mühendisliği Bölümü LİSANS TEZİ Olarak Hazırlanmıştır Danışman: Yrd. Doç. Dr. Kemal Özkan 21.01.2011 iv ONAY Eskişehir Osmangazi Üniversitesi Mühendislik Mimarlık Fakültesi Bilgisayar Mühendisliği Lisans öğrencisi Ersin Demir‟in LİSANS tezi olarak hazırladığı “Pattern Recognition S&D” başlıklı bu çalışma, jürimizce lisans yönetmeliğin ilgili maddeleri uyarınca değerlendirilerek kabul edilmiştir. Danışman : Yrd. Doç. Dr. Kemal ÖZKAN İkinci Danışman : - Lisans Tez Savunma Jürisi: Üye : Yrd. Doç. Dr. Kemal ÖZKAN Üye : Yrd. Doç. Dr. Selçuk CANBEK Üye : Yrd. Doç. Dr. Metin ÖZKAN Bilgisayar Mühendisliği Yönetim Kurulu‟nun ............................. tarih ve ........................ sayılı kararıyla onaylanmıştır. Yrd.Doç.Dr. Nihat ADAR Bölüm Başkanı v ÖZET Görüntü işleme tabanlı teknoloji günümüz koşullarıyla gün geçtikçe gelişmektedir. Trafik levhaları tanımlama sistemi de görüntü işleme ile geliştirilen bir uygulamadır. Trafik levhası belirleme ve tanıma sistemi kullanıcının görsel olarak kolaylık ve yardım sağlamaktadır. Günümüz teknolojisinde bu sistemler tam anlamıyla gerçek zamanlı geliştirilmemiştir; ancak gelişmeye açık ve üzerinde çalışılmaya devam edilen bir teknolojidir. Tez çalışmasında trafik levhaları belirleme ve tanımlama sisteminde; HSV-RGB renk uzayına dönüştürme, renk maskeleme, kırmızı renk bileşenlerini eşikleme, Hough Circle Transform, üçgen şekil tanımlama ,dikdörtgen(kare) şekil tanımlama kullanılacaktır. Üçgen ve dikdörtgen tanımlama yöntemleri tam yöntemlerini anlamıyla geliştirilmediğinden üzerinde çalışmalar yapılacaktır. Tez araştırması ile üçgen ve dikdörtgen tanımlama için gerekli algoritmalar ve trafik levha tanımlamasını geliştirilmesi üzerine çözümlemeler yapılacaktır. vi SUMMARY Image processing based technology develops by using today's circumstances. System of Recognizing Traffic signboard is also application which developed by image processing. Capturing and recognizing traffic sing board system makes visual easiness and helps to users. In today's technology, these systems actually is not developed at run-time, but it is still open to develop and keep going on to work on this subject. In this work, for system of capturing and recognizing of traffic, some methods will be used such as signboard; HSV-RGB color space converting, color masking, red color components thresholding, Hough Circle Transform, definition of triangle shapes, definition of square shapes. Although definition of triangle and square is not be developed well , so mainly will work on this subject. By this thesis, necessary algorithms and solutions will be done to develop definition traffic signboard for definition of triangle and square . vii TEŞEKKÜR Tez çalışmalarımda bana danışmanlık ederek, bana göstermiş olduğu özveriye ve her türlü yardımı sağlayan Yrd Doç Dr Kemal Özkan „a çok teşekkür ederim. viii İÇİNDEKİLER Sayfa ÖZET ..................................................................................................................................... v SUMMARY ..........................................................................................................................vi TEŞEKKÜR ........................................................................................................................ vii İÇİNDEKİLER .................................................................................................................. viii ŞEKİLLER ............................................................................................................................ix GİRİŞ ..................................................................................................................................... 1 1.1 Trafik İşaretleri ....................................................................................................................1 GELİŞTİRİLEN UYGULAMALAR ...................................................................................... 3 2.1. Literatürdeki Yeri ve Geliştirilen Uygulamalar ...........................................................................3 2.2. RGB Renk Uzayını HSV Renk Uzayına Dönüştürme ....................................................................3 2.3. Hough Daire Dönüşümü (Hough Circle Transform) ...................................................................5 2.4. Üçgen Cisimlerin Belirlenmesi ..................................................................................................7 ÖNERİLER .......................................................................................................................... 11 3.1.Uygulamanın Eksik Kısımları .................................................................................................... 11 KAYNAKLAR DİZİNİ ........................................................................................................ 12 ix ŞEKİLLER Sayfa Şekil 1.1...................................................................................................................................................2 Şekil 1.2 ..................................................................................................................................................2 Şekil 1.3...................................................................................................................................................2 Şekil 1.4...................................................................................................................................................2 Şekil 1.5...................................................................................................................................................2 Şekil 2.1...................................................................................................................................................4 Şekil 2.2...................................................................................................................................................5 Şekil 2.3...................................................................................................................................................6 Şekil 2.4 ..................................................................................................................................................7 Şekil 2.5...................................................................................................................................................7 Şekil 2.6...................................................................................................................................................8 Şekil 2.7...................................................................................................................................................9 Şekil 2.8...................................................................................................................................................9 Şekil 2.9..................................................................................................................................................10 1 BÖLÜM 1 GİRİŞ Hızla artan nüfusa paralel olarak araçlarda ki hızlı artışta görülmektedir. Araçların artması ile sürücülerin daha rahatlığını ve güvenliğini sağlamak için yolların sayısı ve trafik işaretleri de artmakdır. Yollarda bulunan trafik işaretlerinin sayısının artması ile sürücülerin tüm trafik işaretlerini algılamaya çalışırken sürücünün dikkatinin dağılmasına ve sürüş emniyetinin azalmasına sebep olmaktadır. Sürücülerin dikkatlerinin dağılmasını önlemek, sürücülere daha rahat bir sürüş sağlamak için günümüzde otomatik olarak trafik işaretlerini tanıyan sistemlerin geliştirilmesine önem verilmektedir. Görüntü işleme metodlarıyla buna paralel olarak gelişen görsel teknoloji ile birlikte otomotiv firmaları yeni araçlarına yol güvenliğini artırmak için yeni sistemler eklemeye başladılar. Bunlara en yaygın olarak kullanılan yol çizgilerini takip etme, öndeki araç mesafesini takip etme gibi görsel teknolojiyi kullanan yeni sistemler geliştirilmektedir. BMW, Mercedes ve Opel firmalarında trafik işaretlerini tanıyan sistemler müşterilere opsiyonel olarak sunulmaktadır.1 Günümüzde trafik levhalarını tanıyan sistemler, yol üzerinde hız limitlerini gösteren levhaları tanıyarak, sürüclere hız limitleriyle ilgili uyarılar vermektedir. Bu nedenle kullanılan tüm trafik levhalarının tanımlanmasının geliştirilmesine gereksinim duyulmaktadır. 1.1 Trafik İşaretleri Trafik işaretleri ülkeler arasında farklılık göstermesi sürücülerin birçok trafik işaretini öğrenmesine neden olmaktaydı. Bu sorunu çözmek için Trafik İşaretleri ve Sinyalleri konferansı (Vienna Convertion on Road Signs and Signals) ile trafik güvenliğini artırmak ve sürücülere kolaylık sağlamak için trafik işaretleri standartları belirlenmiştir. Birçok ülke Viyena Trafik İşaretleri ve Sinyalleri konferasında yayınlanan bildiriye uymakla beraber, bazı ülkelerde trafik işaretleri farklılıklar göstermektedir. İngiltere, Almanya , Fransa, İtalya ve İspanya gibi ülkelerde bazı trafik levhalarında değişiklikler gözlenmektedir. 2 Ülkemizde Trafik İşaretleri Hakkında Yönetmelik 1985 yılında Bayındırlık ve İskan Bakanlığı tarafından belirlenmiştir. Böylece trafik işaretleri niteliklerine göre 5 katogoriye 1 2 Ahmet Gürbüz, “Otomatik Trafik İşareti Tanıma” Yüksek Lisans Tezi,Mart 2010 Ahmet Gürbüz, “Otomatik Trafik İşareti Tanıma” Yüksek Lisans Tezi,Mart 2010 2 ayrılmıştır; tehlike uyarı işaretleri, trafik tanzim işaretleri, bilgi işaretleri, otoyol işaretleri, duraklama ve parketme işaretleri. 1) 2) 3) Şekil 1.1 Tehlike Uyarı İşaretleri: 1)Kasisli yol, 2)Sola tehlikeli viraj, 3)Yol çalışması3. 1) 2) 3) Şekil 1.2 Trafik Tanzim İşaretleri: 1)Ana yola girerken dur, 2)Taşıt giremez, 3 )Öndeki taşıtı geçme. 1) 2) 3) Şekil 1.3 Bilgi İşaretleri: 1) Tek yön , 2) Girişi olmayan yol kavşağı, 3)Hastane. 1) 2) 3) Şekil 1.4 Otoyol işaretleri : 1) Otoyol başlangıç, 2) Otoyol band değiştirme, 3) Otoyol çıkış . 1) 2) 3) Şekil 1.5 Duraklama ve Park İşaretleri : 1) Park yeri, 2)Haftanın tek günleri park yasak, 3)Park etmek ve duraklamak yasak. 3 http://www.ayazagasurucukursu.net/trafik_levhalari.html 3 BÖLÜM 2 GELİŞTİRİLEN UYGULAMALAR 2.1. Literatürdeki Yeri ve Geliştirilen Uygulamalar Daire ve üçgen trafik levhalarını görüntü üzerinde belirlemek için uygulanması gereken işlemler sıralanmıştır; HSV-RGB renk uzayı ve eşikleme işlemi yapılarak görüntüdeki kırmızı renklerin ayırt edilmesi sağlanacaktır. Hough Daire Dönüşümü (Hough Circle Transform) ile RGB renk uzayında eşiklenmiş görüntüde daire biçimindeki cisimler aranacaktır.(Daire levhalar ) Üçgen cisim belirleme işlemiyle RGB renk uzayında eşiklenmiş görüntüde üçgen cisimler aranacaktır. (üçgen levhalar) 4 2.2. RGB Renk Uzayını HSV Renk Uzayına Dönüştürme RGB renk uzayı ışığı temel alarak, doğadaki tüm renklerin kodları bu üç temel renge referansla belirtilir. Her renk %100 oranında karıştırıldığında beyaz ve %0 oranında karıştırıldığındaysa siyah elde edilir. Bu uzayda, ana renkler olan kırmızı, mavi ve yeşil belirtilmediği için, bu ana renklerin tanımı değiştikçe, tüm renkler değişir. HSV (Hue, Saturation, Value) veya HSB (Hue, Saturation, Brightness) renk uzayı, renkleri sırasıyla renk özü, doygunluk ve parlaklık olarak tanımlar. Renk özü, rengin baskın dalga uzunluğunu belirler, örneğin sarı, mavi, yeşil, vb. açısal bir değerdir. 0° - 360°, bazı uygulamalarda ise 0-100 arası olağanlaştırılır. Doygunluk ise rengin canlılığını belirler. Yüksek doygunluk canlı renklere neden olurken, düşük olasılık rengin gri tonlarına yaklaşmasına neden olur ve 0-100 arasında değişir. Parlaklık ise rengin aydınlığını yani içindeki beyaz oranını belirler. 0-100 arasında değişir.5 RGB renk uzayında ki bir resmi HSV renk uzayına dönüştürdüğümüzde çevre koşullardan kaynaklanan gürültü, parlaklık gibi sorunları ortadan kaldırmış veya azaltmış oluruz. Trafik işaretlerinin çerçevelerinin kırmızı renklerden oluştuğundan RGB‟den HSV ye 4 5 Hassan Shojania, “Real-time Traffic Sign Detection”,2006 http://tr.wikipedia.org 4 renk uzayı dönüşümü ve belli bir eşik (Threshold) değerinin üzerinde değerleri elde edersek trafik levhalarının kırmızı renkli olan kısımlarını elde etmiş oluruz. Eşikleme işlemi sayesinde resimde trafik işaretinin aranması gereken yerleri azaltılmış olunur. 6 H ∈ {0,360},S,V,R,G,B ∈{0,1} MAX= max{ R,G,B}, MIN=min{ R,G,B} S= 0 eğer MAX=0 ise ; MIN S= 1eğer değilse; MAX V=MAX Formülasyonuyla RGB renk uazyı HSV renk uzayına dönüştürülür. Şekil 2.1 RGB renk uzayını HSV renk uzayına dönüştürülecek orjinal görüntü. Şekil 2.2‟ de bulunan kırmızı üçgen renkli levha RGB renk uzayındna HSV renk uzayına dönüşümü yapılarak belirli bir eşik değerinin üzerindeki değerler elde edilmiştir. Yangxing Liu, Satoshi Goto ve Takeshi Ikenaga “An MRF Model Based Algorithm of Triangular Shape Object Detection in Color Images” Ağustos 23-26, 2005. 6 5 Şekil 2.2 HSV renk uzayına dönüşümü ve eşik değerinin alınmış görüntüsü. 2.3. Hough Daire Dönüşümü (Hough Circle Transform) Hough Daire Dönüşümü(Hough Circle Transform), daire şeklindeki trafik levhalarını bulmak için kullanılmıştır. Hough daire dönüşümü ile daire şeklindeki cisimler hızlı bir algoritma ile elde edilmektedir. Hough dönüşümü temelde kenarların olası geometrik şekilleri oylaması mantığı ile çalışmaktadır. Hough dönüşümü kullanılarak şekil tespiti genel olarak aşağıdaki adımlar ile özetlenebilir: Kaynak görüntü üzerinde kenarlar belirlenir. Bir eşikleme yöntemi kullanılarak görüntü ikili (siyah-beyaz) hale getirilir. Her kenar pikseli için noktanın üzerinde olabileceği olası geometrik şekillerin polar koordinattaki değerleri kullanılan bir akümülatör matrisi üzerinde birer artırılarak her kenar pikselin olası şekilleri oylaması sağlanmış olur. Akümülatör değeri en yüksek olan şekiller en çok oy alan şekiller olduklarından görüntü üzerinde bulunma veya belirgin olma olasılıkları en yüksek olmaktadır. Uygulamamızda kaynak görüntüler üzerinde dairesel şekil arandığından kullanılan akümülatör matrisi çemberin merkezi olan [a,b] noktaları ve yarıçap değeri [r] olmak üzere üç boyuttan oluşmaktadır. Belirlenen aralıktaki yarıçap değerleri için çember merkezi çember denkleminden faydalanılarak bulunabilir. r2 = ( x – a )2 + ( y – b )2 x = a + r*sin(θ) y = b + r*cos(θ) 6 Kullanılan açı değeri 0 – 2π aralığında değiştirilerek bir noktanın, yarıçapı bilinen bir çember üzerinde yer alıp almadığı tespit edilebilmektedir. Yarıçap değerinin bilinmesi durumunda çember merkezini ifade eden [a,b] değerlerinin iki boyutlu bir akümülatör matrisi üzerinde tutulması yeterli olacaktır. Yarıçap değerinin bilinmemesi veya bir aralık halinde olması durumunda ise olası yarıçap değerleri bir döngü içerisinde denenerek merkez koordinatları ve yarıçap uzunluğu boyutlarına (a,b,r) karşılık gelen akümülatör değerleri artırılarak elde edilen üç boyutlu akümülatör matrisi elde edilebilmektedir. 7 Şekil 2.3 Hough Circle Transformu uygulanacak orjinal resim. Şekil 2.3‟ teki 50 hızlı limitini gösteren daireye Hough Circle Transformu uygulanarak daire şeklinin yeri belirlenmiştir.Şekil 2.4‟ te Hough Circle Transformu uygulanarak elde edilmiş sonuç gösterilmektedir. 7 Wojciech Wojcikiewicz ,“Hough TransformLine Detection in Robot Soccer”, 14 Mart 2008 7 Şekil 2.4 Hough Circle Transformu sonucu elde edilen görüntü. Şekil 2.5‟ te görüntü üzerinde elde edilen sonuç gösterilmiştir. Şekil 2.5 Hough Circle Transformunun resimdeki görüntüsü. 2.4. Üçgen Cisimlerin Belirlenmesi Üçgen şeklindeki cisimleri belirleme ile üçgen şeklindeki trafik levhalarının yerlerinin tespiti sağlanacaktır. Kullanılan algoritmayla sonuca en hızlı biçimde erişilmek amaçlanmaktadır. Kenar algılama(Edge Detection) verilen herhangi bir resimdeki kenarları elde etmeye yarar. Böylelikle resimler içindeki isteğe yönelik nesneler algılanıp gerekli işlemler yapılabilir. Temelde bir kenar farklı yüzeylerin yan yana gelmesiyle oluşmuştur. Kerneller 8 görüntü içerisinde ışık yoğunluk değişiminin ani olduğu yerleri belirlememize yarar. Kenar algılama algoritması görüntü işlemede birçok alanda kullanılmaktadır. Trafik levhası tanımlamada kenar algılama(Edge detection) algoritmasıyla üçgenin çerçeve (kenarları) kısımları belirlenecektir.8 Kenar algılama dönüşümü uygulanmış görüntüye, üçgenin kenarları elde edilen görüntüsünü y ekseni üzerinde iz düşümü alındığında küçük pigler ve bir tane uzun pig elde edilir. Elde edilen küçük pigler düşey konumda ki üçgenin iki kenarından elde edilen düşey görüntülerdir. Uzun pig ise üçgenin yatay konumda bulunan kenarından elde edilen iz düşüm görüntüleridir. Şekil 2.6 „ da resmin orjinal görüntüsünün y eksenine göre iz düşüm görüntüsü bulunmaktadır. Şekil 2.6 Orjinal görüntünün y eksenine göre iz düşümü. Üçgen trafik levhaları eşkenar üçgen şeklindedir. Eşkenar üçgenin açıları 60 o olup tüm açıları birbirine eşittir. Görüntüyü 600‟‟lik açılarla döndürdüğümüzde üçgen levhaların şekillerinde ve konumlarında bir değişiklik gözlenmemektedir. Elde ettiğimiz üç ayrı görüntünün ayrı ayrı y eksenine göre iz düşümlerini aldığımızda tüm görüntülerin birbirine benzer, küçük pigler ve bir tane uzun pig elde edildiği gözlenmiştir. Şekil 2.7‟ de orijinal görüntü, şekil 2.8 „ de 60o döndürülmüş, şekil 2.9‟ da 120o döndürülmüş üç farklı görüntünün y ekseni üzerinde iz düşümleri gösterilmektedir. Jiang-Ping He ve Yan Ma “Triangle Detection Based OnWindowed Hough Transform” 12-15 Temmuz 2009 8 9 Şekil 2.7 Orjinal görüntünün y ekseni üzerindeki iz düşümü Şekil 2.8. 60o döndürülmüş görüntünün y ekseni üzerindeki iz düşümü 10 Şekil 2.9 120o döndürülmüş görüntünün y ekseni üzerindeki iz düşümü Eşkenar üçgenin simetrik x eksenine göre simetrik özelliği bulunmaktadır. Üçgen cismin x ekseni üzerinde simetrisi alındığında elde edilen değerlerinin belirli bir eksen üzerinde birbiriyle eşitliği belirlenmiştir. Simetri işlemiyle üçgen şekillerin kenarlarının birbiriyle bağlantılı olarak kapalı bir üçgen oluşturduğu kontrol edilmiştir. Sonuçların hata payını azaltmak için orjinal görüntüyü eşit parçalara ayırarak işlemler tekrarlanmıştır. Birbirinden kopuk halde bulunan ve bir üçgen oluşturabilcek çizgilerin yarattığı hataların görünmediği gözlenmiştir. 11 BÖLÜM 3 ÖNERİLER Trafik levhalarını tanımlama sistemlerinde en önemli kısmının trafik işaretinin olduğu bölgeyi bulabilmektir. Trafik işaretlerinin Trafik işaretinin olduğu bölgeyi tespit ettikten sonra elde edilen resim databaseden verilerle karşılaştırılabilir. Trafik levhalarının iki tür özelliği olan şekil ve renkleri üzerinde durularak uygulamalar geliştirilebilir. Şekil belirlemeden önce yapılacak olan renk belirlemeyle sonuca erişim daha hızlı sağlanacaktır. Yapılan çalışmanın eksik yönleri bulunmaktadır. Bunlar aşağıda sırayla belirtilmiştir. 3.1.Uygulamanın Eksik Kısımları Yeşil ve mavi renkler incelenmeyerek, sadece kırmızı renkli lavhalar üzerinde durulmuştur. Kırmızı iki renk cismin birbiriyle birleşmesi durumunda cisimler tek bir cisim olarak algılanıyor ve levha belirlenemiyor. Varolan görüntüler üzerinden denemeler yapılarak gerçek zamanlı bir işlem gerçekleşmemiştir. Hough dönüşümü kullanılması daha fazla işlem hacmi gerektirmektedir. 12 KAYNAKLAR DİZİNİ [1] Ahmet Gürbüz, “Otomatik Trafik İşareti Tanıma” Yüksek Lisans Tezi,Mart 2010. [2] Jiang-Ping He ve Yan Ma “Triangle Detection Based OnWindowed Hough Transform” 12-15 Temmuz 2009. [3] Hassan Shojania, “Real-time Traffic Sign Detection”,2006 . [4] http://www.ayazagasurucukursu.net/trafik_levhalari.html . [5] http://tr.wikipedia.org . [6] http://homepages.inf.ed.ac.uk [7] Tam T. Le, Son T. Tran, Seichii Mita ve Thuc D. Nguyen, “Real Time Traffic Sign Detection Using Color and Shape-Based Features” 2005., [8] Yangxing Liu, Satoshi Goto ve Takeshi Ikenaga “An MRF Model Based Algorithm of Triangular Shape Object Detection in Color Images” Ağustos 23-26, 2005. [9] Vavilin Andrey ve Kang Hyun Jo “Automatic Detection and Recognition of Traffic Signs using Geometric Structure Analysis”, Oct. 18-21, 2006. [10] 2008. Wojciech Wojcikiewicz ,“Hough TransformLine Detection in Robot Soccer”, 14 Mart