உறவினர் பண்புக்கூறுகள்

மார் பரிசு (சிறந்த ஆராய்ச்சி விருது) வெற்றியாளர், ஐசிசிவி 2011

தேவி பரிக் மற்றும் கிறிஸ்டன் கிராமன்

“ஊதா நிறம் முடிவடைந்து ஆரஞ்சு நிறம் தொடங்கும் கோட்டை வானவில் யார் வரைய முடியும்? வண்ணங்களின் வேறுபாட்டை நாம் தெளிவாகக் காண்கிறோம், ஆனால் ஒன்று சரியாக மற்றொன்றில் கலப்பது எங்கே?

– ஹெர்மன் மெல்வில், பில்லி பட்

சுருக்கம்

மனித–பெயரிடக்கூடிய காட்சி “பண்புக்கூறுகள்” பல்வேறு அங்கீகாரப் பணிகளுக்கு பயனளிக்கும். இருப்பினும், தற்போதுள்ள நுட்பங்கள் இந்த பண்புகளை வகைப்படுத்தப்பட்ட லேபிள்களுக்கு கட்டுப்படுத்துகின்றன (எடுத்துக்காட்டாக, ஒரு நபர் ‘புன்னகைக்கிறாரா இல்லையா, ஒரு காட்சி‘ உலர் ‘அல்லது இல்லை), இதனால் பொதுவான சொற்பொருள் உறவுகளைப் பிடிக்க முடியவில்லை. உறவினர் பண்புகளை மாதிரியாக்க நாங்கள் முன்மொழிகிறோம். வெவ்வேறு பண்புகளுக்கு ஏற்ப பொருள்/காட்சி வகைகள் எவ்வாறு தொடர்புபடுகின்றன என்பதைக் குறிப்பிடும் பயிற்சித் தரவைப் பொறுத்தவரை, ஒரு பண்புக்கூறுக்கு ஒரு தரவரிசைச் செயல்பாட்டைக் கற்றுக்கொள்கிறோம். கற்ற தரவரிசை செயல்பாடுகள் நாவல் படங்களில் ஒவ்வொரு சொத்தின் ஒப்பீட்டு வலிமையையும் கணிக்கின்றன. பண்பு தரவரிசை வெளியீடுகளின் கூட்டு இடைவெளியில் ஒரு உருவாக்கும் மாதிரியை நாங்கள் உருவாக்குகிறோம், மேலும் பூஜ்ஜிய–ஷாட் கற்றலின் ஒரு புதிய வடிவத்தை முன்மொழிகிறோம், இதில் மேற்பார்வையாளர் கண்ணுக்குத் தெரியாத பொருள் வகையை பண்புகளைப் பயன்படுத்தி முன்பு பார்த்த பொருள்களுடன் தொடர்புபடுத்தினார் (உதாரணமாக, ‘ஒட்டகச்சிவிங்கிகளை விட கரடிகள் உரோமம் கொண்டவை’) முன்மொழியப்பட்ட உறவினர் பண்புக்கூறுகள் புதிய படங்களுக்கான பணக்கார உரை விளக்கங்களை எவ்வாறு செயல்படுத்துகின்றன என்பதை நாங்கள் மேலும் காண்பிக்கிறோம், அவை நடைமுறையில் மனித விளக்கத்திற்கு மிகவும் துல்லியமானவை. முகங்கள் மற்றும் இயற்கை காட்சிகளின் தரவுத்தொகுப்புகள் குறித்த அணுகுமுறையை நாங்கள் நிரூபிக்கிறோம், மேலும் இந்த புதிய பணிகளுக்கான பாரம்பரிய பைனரி பண்பு கணிப்பில் அதன் தெளிவான நன்மைகளைக் காட்டுகிறோம்.

முன்மொழிவு

இந்த வேலையில், உறவினர் பண்புகளை மாதிரியாக்க நாங்கள் முன்மொழிகிறோம். ஒரு பண்புக்கூறு இருப்பதை கணிப்பதற்கு மாறாக, ஒரு உறவினர் பண்பு மற்ற படங்களைப் பொறுத்து ஒரு படத்தில் ஒரு பண்பின் வலிமையைக் குறிக்கிறது. மிகவும் இயல்பானதாக இருப்பதோடு மட்டுமல்லாமல், உறவினர் பண்புக்கூறுகள் ஒரு பணக்கார தகவல்தொடர்பு முறையை வழங்குகின்றன, இதனால் மேலும் விரிவான மனித மேற்பார்வை அணுகலை அனுமதிக்கிறது (மேலும் அதிக அங்கீகாரம் துல்லியம்), அதே போல் நாவல் படங்களின் மேலும் தகவலறிந்த விளக்கங்களை உருவாக்கும் திறன்.

ஒவ்வொரு குணாதிசயத்திற்கும் ஒரு தரவரிசை செயல்பாட்டைக் கற்றுக் கொள்ளும் ஒரு அணுகுமுறையை நாங்கள் உருவாக்குகிறோம். கற்றறிந்த தரவரிசை செயல்பாடு, படங்களின் உண்மையான மதிப்புள்ள தரத்தை மதிப்பிட முடியும்.

பூஜ்ஜிய-ஷாட் கற்றல் மற்றும் பட விளக்கத்தின் புதிய வடிவங்களை நாங்கள் அறிமுகப்படுத்துகிறோம், அவை தொடர்புடைய பண்பு கணிப்புகளை சுரண்டுகின்றன.

அணுகுதல்

உறவினர் பண்புகளைக் கற்றல்: ஒவ்வொரு உறவினர் பண்புகளும் கீழே காட்டப்பட்டுள்ளபடி, ஒப்பீட்டு மேற்பார்வையில் கொடுக்கப்பட்ட படிவத்தை தரவரிசைப்படுத்த ஒரு கற்றல் மூலம் கற்றுக்கொள்ளப்படுகின்றன:

பயிற்சி புள்ளிகளில் (1-6) விரும்பிய வரிசைப்படுத்தலை அமல்படுத்தும் ஒரு பரந்த விளிம்பு தரவரிசை செயல்பாடு (வலது) மற்றும் இரண்டு வகுப்புகளை (+ மற்றும்-) மட்டுமே பிரிக்கும் ஒரு பரந்த விளிம்பு பைனரி வகை (இடது) ஆகியவற்றைக் கற்றுக்கொள்வதற்கான வேறுபாடு புள்ளிகளில் விரும்பிய ஆர்டரைப் பாதுகாக்க வேண்டிய அவசியமில்லை கீழே காட்டப்பட்டுள்ளது:

நாவல் ஜீரோ-ஷாட் கற்றல்: நாங்கள் பின்வரும் அமைப்பைப் படிக்கிறோம்.

• N மொத்த வகைகள்: S பார்த்த பிரிவுகள் (தொடர்புடைய படங்கள் கிடைக்கின்றன) + U காணப்படாத வகைகள்
• S பார்த்த வகைகள் பண்புக்கூறுகள் மூலம் ஒருவருக்கொருவர் ஒப்பிடப்படுகின்றன
• U காணப்படாத வகைப்பாடுகள் (துணைக்குழு) பண்புகளின் அடிப்படையில் காணப்பட்ட வகைகளுடன் தொடர்புடையது.

காணப்பட்ட வகைகளில் வழங்கப்பட்ட மேற்பார்வையைப் பயன்படுத்தி உறவினர் பண்புகளின் தொகுப்பை நாங்கள் முதலில் பயிற்றுவிக்கிறோம். இந்த பண்புகளை வெளிப்புறத் தரவிலிருந்து முன்கூட்டியே பயிற்றுவிக்கலாம். காணப்பட்ட வகைகளிலிருந்து படங்களுக்கான தொடர்புடைய பண்புகளின் பதில்களைப் பயன்படுத்தி ஒவ்வொரு காணப்பட்ட வகையிலும் ஒரு உருவாக்கும் மாதிரியை (Gaussian) உருவாக்குகிறோம். காணாத வகைகளைப் பொறுத்து அவற்றின் தொடர்புடைய விளக்கங்களைப் பயன்படுத்துவதன் மூலம் காணப்படாத வகைகளின் உருவாக்கும் மாதிரிகளின் அளவுருக்களை நாங்கள் ஊகிக்கிறோம். இதற்காக நாம் பயன்படுத்தும் எளிய அணுகுமுறையின் காட்சிப்படுத்தல் கீழே காட்டப்பட்டுள்ளது:

அதிகபட்ச சாத்தியக்கூறுடன் ஒரு சோதனைப் படம் வகைக்கு ஒதுக்கப்பட்டுள்ளது.

படங்களின் ஒப்பீட்டு உரை விளக்கங்களை தானாக உருவாக்குகிறது: நான் விவரிக்கப்பட வேண்டிய ஒரு படத்தைக் கொடுத்தால், I இல் கற்றுக்கொண்ட அனைத்து தரவரிசை செயல்பாடுகளையும் மதிப்பீடு செய்கிறோம். ஒவ்வொரு பண்புக்கூறுக்கும், நான் இரண்டு பக்கங்களிலும் இரண்டு குறிப்புப் படங்களை அடையாளம் காண்கிறோம், மேலும் மிக அருகில் அல்லது மிக அருகில் இல்லை I. படத்திற்கு கீழே காட்டப்பட்டுள்ளபடி, இந்த இரண்டு குறிப்பு படங்களுடன் ஒப்பிடும்போது நான் விவரிக்கப்பட்டுள்ளேன்:

மேலே பார்த்தபடி, மற்ற படங்களுடன் தொடர்புடைய ஒரு படத்தை விவரிப்பதைத் தவிர, எங்கள் அணுகுமுறை மற்ற வகைகளுடன் தொடர்புடைய ஒரு படத்தை விவரிக்க முடியும், இதன் விளைவாக முற்றிலும் உரை விளக்கம் கிடைக்கும். தெளிவாக, உறவினர் விளக்கங்கள் வழக்கமான பைனரி விளக்கத்தை விட துல்லியமாகவும் தகவலறிந்ததாகவும் உள்ளன.

பரிசோதனைகள் மற்றும் முடிவுகள்

நாங்கள் இரண்டு தரவுத்தொகுப்புகளில் சோதனைகளை நடத்துகிறோம்:

(1) வெளிப்புற காட்சி அங்கீகாரம் (OSR) 8 வகைகளில் இருந்து 2688 படங்களைக் கொண்டுள்ளது: கடற்கரை C, காடு F, நெடுஞ்சாலை H, நகரத்தின் உள்ளே I, மலை M, திறந்தவெளி O, தெரு S மற்றும் உயரமான கட்டிடம் T. நாங்கள் சுருக்கமான அம்சங்களைப் பயன்படுத்துகிறோம் படங்களை பிரதிநிதித்துவம் செய்ய.

(2) 8 வகைகளில் இருந்து 772 படங்களை உள்ளடக்கிய பொது புள்ளிவிவரங்கள் முகப்பு தரவுத்தளத்தின் (பப்ஃபிக்) துணைக்குழு எஃப்ரான் இசட். படங்களை பிரதிநிதித்துவப்படுத்த இணைக்கப்பட்ட சுருக்கம் மற்றும் வண்ண அம்சங்களைப் பயன்படுத்துகிறோம்.

ஒவ்வொரு தரவுத்தொகுப்பிற்கும் பயன்படுத்தப்படும் பண்புகளின் பட்டியல், பைனரி மற்றும் உறவினர் பண்பு குறிப்புகளுடன் கீழே காட்டப்பட்டுள்ளது:

ஜீரோ-ஷாட் கற்றல்:

எங்கள் முன்மொழியப்பட்ட அணுகுமுறையை இரண்டு அடிப்படைகளுடன் ஒப்பிடுகிறோம். முதலாவது மதிப்பெண் அடிப்படையிலான உறவினர் பண்புக்கூறுகள் (SRA). தரவரிசை செயல்பாட்டின் மதிப்பெண்களுக்கு பதிலாக பைனரி வகைப்படுத்தியின் (பைனரி பண்புக்கூறுகள்) மதிப்பெண்களைப் பயன்படுத்துவதைத் தவிர, இந்த அடிப்படை எங்கள் அணுகுமுறையைப் போன்றது. சிறந்த மாதிரி உறவினர் பண்புகளுக்கு ஒரு தரவரிசை செயல்பாட்டின் தேவையை மதிப்பீடு செய்ய இந்த அடிப்படை உதவுகிறது. எங்கள் இரண்டாவது அடிப்படை, நேரடி பண்பு கணிப்பு (DAP) மாதிரி, லம்பேர்ட் மற்றும் பலர் அறிமுகப்படுத்தியது. CVPR 2009 இல். இந்த அடிப்படையானது வகைப்படுத்தலுக்கு மாறாக பண்புகளின் ஒப்பீட்டு சிகிச்சையின் நன்மைகளை மதிப்பீடு செய்ய உதவுகிறது. இந்த அணுகுமுறைகளை, பலவிதமான கண்ணுக்கு தெரியாத வகைகளுக்கும், பண்புகளைப் பயிற்றுவிக்கப் பயன்படுத்தப்படும் பல்வேறு தரவுகளுக்கும், கண்ணுக்குத் தெரியாத வகைகளை விவரிக்கப் பயன்படுத்தப்படும் பல்வேறு பண்புக்கூறுகளுக்கும், காணப்படாத வகைகளின் விளக்கத்தில் ‘தளர்வான’ நிலைகளுக்கும் மதிப்பீடு செய்கிறோம். சோதனை அமைப்புகளின் விவரங்களை எங்கள் தாளில் காணலாம். முடிவுகள் கீழே காட்டப்பட்டுள்ளன.

தானாக உருவாக்கப்பட்ட பட விளக்கங்கள்:

பைனரி சகாக்களுக்கு எங்கள் உறவினர் பட விளக்கங்களின் தரத்தை மதிப்பிடுவதற்காக, நாங்கள் ஒரு மனித ஆய்வு நடத்தினோம். எங்கள் அணுகுமுறையையும், அடிப்படை பைனரி பண்புகளையும் பயன்படுத்தி ஒரு படத்தின் விளக்கத்தை உருவாக்கினோம். இந்த விளக்கத்துடன் பாடங்களை மூன்று படங்களுடன் வழங்கினோம். மூன்று படங்களில் ஒன்று படம் விவரிக்கப்பட்டது. பாடங்களின் பணி மூன்று படங்களை தரவரிசைப்படுத்துவதாகும், அதன் அடிப்படையில் விவரிக்கப்பட்டுள்ள ஒரு படமாக இருக்கலாம் என்று அவர்கள் கருதினர். மிகவும் துல்லியமான விளக்கம், சரியான படத்தை அடையாளம் காண பாடங்களுக்கு சிறந்த வாய்ப்புகள் உள்ளன. பாடங்களுக்கு வழங்கப்பட்ட ஒரு பணியின் விளக்கம் கீழே காட்டப்பட்டுள்ளது:

ஆய்வின் முடிவுகள் கீழே காட்டப்பட்டுள்ளன. பைனரி பண்புகளுடன் ஒப்பிடும்போது, எங்கள் முன்மொழியப்பட்ட உறவினர் பண்புகளைப் பயன்படுத்தி பாடங்கள் சரியான படத்தை மிகவும் துல்லியமாக அடையாளம் காண முடியும் என்பதை நாங்கள் காண்கிறோம்.

எடுத்துக்காட்டுகள் படங்களின் பைனரி விளக்கங்கள் மற்றும் வகைகளுடன் தொடர்புடைய விளக்கங்கள் கீழே காட்டப்பட்டுள்ளன:

[table id=6 /]

தகவல்கள்

எங்கள் காகிதத்தில் பயன்படுத்தப்படும் இரண்டு தரவுத்தொகுப்புகளுக்கான கற்றறிந்த உறவினர் பண்புகளையும் அவற்றின் கணிப்புகளையும் நாங்கள் வழங்குகிறோம்: வெளிப்புற காட்சி அங்கீகாரம் (OSR) மற்றும் பொது உருவங்கள் முகப்பு தரவுத்தளத்தின் (PubFig) துணைக்குழு.

என்னை தெரிந்து கொள்

பதிவிறக்கம் (v2)

உறவினர் முகப் பண்புக்கூறுகள் தரவுத்தொகுப்பு. இது பொது உருவங்கள் ஃபேஸ் டேட்டாபேஸ் (பப்ஃபிக்) இலிருந்து 60 பிரிவுகளில் 29 தொடர்புடைய பண்புகளுக்கான சிறுகுறிப்புகளைக் கொண்டுள்ளது.

குறியீடு

ஒற்றுமை தடைகளுடன் தொடர்புடைய பண்புகளைப் பயிற்றுவிப்பதற்காக ஒலிவியர் சேப்பல்லின் RankSVM செயல்படுத்தலை நாங்கள் மாற்றியமைத்தோம். எங்கள் மாற்றியமைக்கப்பட்ட குறியீட்டை இங்கே காணலாம்.

நீங்கள் எங்கள் குறியீட்டைப் பயன்படுத்தினால், தயவுசெய்து பின்வரும் காகிதத்தை மேற்கோள் காட்டுங்கள்:

1. பரிக் மற்றும் கே. கிருமான்

உறவினர் பண்புக்கூறுகள்

கணினி பார்வைக்கான சர்வதேச மாநாடு (ICCV), 2011.

டெமோஸ்

தொடர்புடைய பண்புகளின் பல்வேறு பயன்பாடுகளின் டெமோக்களை இங்கே காணலாம். இந்த பயன்பாடுகளின் விளக்கத்தை இங்குள்ள காகிதங்களில் காணலாம்.

வெளியீடுகள்

தலைப்பு தொடர்பான வெளியீடுகளின் முழுமையான பட்டியலுக்கு, செல்க.

குறிப்பு

இந்தப் பக்கம் தேவி பாரிக் மற்றும் கிறிஸ்டன் கிராமன் அசல் படைப்பின் மொழிபெயர்ப்பாகும்  https://www.cc.gatech.edu/~parikh/relative.html