1988 में मुख्तार का नाम क्राइम की दुनिया में पहली बार आया। मंडी परिषद की ठेकेदारी को लेकर लोकल ठेकेदार सच्चिदानंद राय की हत्या के मामले में मुख्तार का नाम सामने आया।
1990 में गाजीपुर जिले के तमाम सरकारी ठेकों पर ब्रजेश सिंह गैंग ने कब्जा शुरू कर दिया। अपने काम को बनाए रखने के लिए मुख्तार अंसारी के गिरोह से उनका सामना हुआ। यहीं से ब्रजेश सिंह के साथ इनकी दुश्मनी शुरू हो गई।
1991 में चंदौली में मुख्तार पुलिस की पकड़ में आया। आरोप है कि रास्ते में दो पुलिस वालों को गोली मारकर वह फरार हो गया। इसके बाद सरकारी ठेके, शराब के ठेके, कोयला के काले कारोबार को बाहर रहकर हैंडल करना शुरू किया।
1996 में एएसपी उदय शंकर पर जानलेवा हमले में उनका नाम एक बार फिर सुर्खियों में आया। 1996 में मुख्तार पहली बार एमएलए बने। उन्होंने ब्रजेश सिंह की सत्ता को हिलाना शुरू कर दिया।
1997 में पूर्वांचल के सबसे बड़े कोयला व्यवसायी रुंगटा के अपहरण के बाद उनका नाम क्राइम की दुनिया में देश में छा गया। 2001 में ब्रजेश सिंह ने मुख्तार अंसारी के काफिले पर हमला कराया।
अक्टूबर 2005 में मऊ जिले में भड़की हिंसा के बाद उन पर कई आरोप लगे, हालांकि सभी खारिज हो गए। इस बीच गाजीपुर पुलिस के सामने आत्मसमर्पण कर दिया, तभी से वह जेल में बंद थे।
कृष्णानंद राय से मुख्तार के भाई अफजल अंसारी चुनाव हार गए। मुख्तार पर आरोप है कि उन्होंने शार्प शूटर मुन्ना बजरंगी और अतीकुर्रहमान उर्फ बाबू की मदद से 5 साथियों सहित कृष्णानंद राय की हत्या करवा दी।
साल 2005 में मुख्तार अंसारी जेल में बंद था। इसी दौरान बीजेपी विधायक कृष्णानंद राय को उनके 5 साथियों सहित सरेआम गोलीमार हत्या कर दी गई।
2012 में महाराष्ट्र सरकार ने मुख्तार पर मकोका लगाया। उनके खिलाफ हत्या, अपहरण, फिरौती जैसे कई आपराधिक मामले दर्ज हैं।