हाय का अर्थ है घोड़ा और गरीब का अर्थ है गर्दन इस प्रकार है गरीब का अर्थ है जिसका सर घोड़े का हो लीलाधारी भगवान विष्णु ने परिस्थितियों के अनुसार विचित्र रूप आकृति वाले अवतार भी लिए जिनमें हयग्रीव अवतार भी प्रमुख है। इस अवतार का उद्देश्य था असुरों से वेद एवं अन्य ग्रंथों को मुक्त करवाना। भगवान है गरीब के संबंध में दो कथाएं मिलती हैं
प्रथम कथा- सृष्टि के प्रारंभ काल में जब ब्रह्मा जी सृष्टि रचना करने के लिए उद्यत हुए तो उस समय दो प्रबल असुरों मधु के टॉप ने ब्रह्माजी पर आक्रमण करके उनसे भेद एवं अन्य ग्रंथ छीन लिए और रसातल में ले गए बिना ज्ञान के ब्रह्मा जी क्या करते हैं? उस समय भगवान विष्णु योगनिद्रा में लीन थे वह सामान्य ध्वनि से नहीं उठ सकते थे। उनके निकट ही प्रत्यंचा चढ़ा हुआ उनका विशाल धनुष रखा हुआ था। ब्रह्मा जी ने कीड़ा बीमार उत्पन्न किया और उसे आदेश दिया कि वह धनुष की प्रत्यंचा को काट दे उसके द्वारा प्रत्यंचा काटने का पर भयानक विस्फोटक ध्वनि हुई और धनुष की प्रत्यंचा विष्णु जी के गले में इस प्रकार लगी कि उनके घर से उनका मस्तक मुकुट सहित गायब हो गया इससे सारे देवता चिंतित हो गए कि देवाधिदेव भगवान विष्णु के ना रहने से सृष्टि कैसे चलेगी। तब ब्रह्मा शंकर सहित सभी देवताओं ने देवी महामाया की स्तुति की। उन्होंने प्रकट होकर कहा कि विश्वकर्मा से कहे कि घोड़े का सर काट कर उनकी गर्दन से जोड़ दें। उन्होंने वैसा ही किया और भगवान हाई ग्रीप प्रकट हुए संघर्ष के पश्चात है गरीब ने मधु को मार दिया और वे दो ग्रंथों को मुक्त करवाकर ब्रह्मा जी के लाली जिससे उन्होंने पुनः सृष्टि निर्माण आरंभ किया।
द्वितीय कथा-, लक्ष्मी जी का अभिशाप एक समय भगवती लक्ष्मी भगवान विष्णु के निकट बैठी थी। अचानक भगवान विष्णु मुस्कुरा उठे। लक्ष्मी जी को लगा कि उनके चेहरे को देखकर हंसते हैं। उनके चेहरे पर कोई कुरूपता आ गई हो उन्होंने बार-बार विष्णु जी से पूछा कि वह हंसने का कारण बताएं परंतु भगवान मुस्कुराते रहें जिससे लक्ष्मी जी रुष्ट हो गई और क्रोध से बोल पड़ी आपका सिर गिर पड़े लक्ष्मी जी की इस बात को भूल गई परंतु विधाता कैसे बोलते हैं शराब तो सत्य होना ही था। असुर हाय गरीब एक असुर हाय है गरीब था उसने भगवती अंबे की घोर तपस्या की देवी जी प्रकट हुई और उस से वर मांगने के लिए कहा उसने अमरता का वरदान मांगा देवी जी ने कहा कि जो जन्मा है उसे 1 दिन तो मरना ही होता है। आता यावर देना संभव नहीं है उसने अजय रहने के साथ यह वर मांगा कि उसकी मृत्यु है ग्रुप से ही हो मैं जानता था कि विश्व में वही अकेला है गरीब है तो वह स्वयं को कैसे मारेगा? देवी जी तथास्तु कहकर अंतर्धान हो गई है गरीब ने अपनी शक्ति से देवताओं को पराजित कर दिया और ब्रह्माजी से उसने वेद ग्रंथ छीन लिए तथा रसातल में ले गया और वहां छुपा दिया जिससे सर्वत्र धर्म-कर्म का होने लगा। बिना धर्म के लोग पशु आहार करने लगे। एक समय ब्रह्मा शंकर सभी देवता के करने के लिए कर्तव्य। उस समय भगवान विष्णु ने उन्हें उठाने के लिए ब्रह्मा जी ने उत्पन्न किया
