A Shinsengumi-t kyotói rendőrségi különítménye-ként is emlegetik.Hijikata Toshizo 1863-ban 13 társával azért ment Kyotoba, hogy valamilyen módon harcolhasson az Ishin Shishi csoporttal szemben (ők császárpártiak voltak, a császár hatalmát akarták visszaszerezni) a Bakufu (olyan katonai kormányzati rendszer, amely a császár helyett, a shogun vezetésével irányította az országot) védelmében. E cél érdekében alapították meg a Shinsengumi elődjét, a Roushigumit, amely különböző testőri és egyéb katonai feladatokat látott el és a vezetője Kiyokawa Hachirou volt. Eredetileg Kiyokawa Katamori Matsudaira (egy Aizu nagyúr) megbízásából toborzott harcedzett roninokat (gazdátlan szamurájokat), afféle testőr csapatnak.A Kiyokawával való szakítás után a Roshiguminek három vezetője volt - Kondou Isami, Serizawa Kamo és Niimi Nishiki. Akkor alig voltak húszan, pár hét alatt azonban összeszedték a környék roninjait, és a rendfenntartó alakulat száma hetvenre nőtt. Az akkor fékezhetetlenül garázdálkodó császárpárti bandákat visszaszorították, a köznép pedig Serizawa jóvoltából hamar nevet adott a roninok csoportjának. Mibu Farkasai - suttogták és inkább lesütött szemmel félreálltak, ha megláttak egy-egy őrjáratot. Mert Serizawa az élő fába is belekötött, fennen hirdetve a nevét, mint a Farkasok vezetője. Esténként részegre itta magát, tört, zúzott és nemegyszer gyilkolt is. Aztán megvarratták az egyenruhákat, és fegyvereket, vérteket, felszerelést vettek, sőt, Serizawa egy hollandusokól vett ágyút is hazavontatott, később ezzel lőtte ripityára egy gyanúsnak vélt kereskedő házát... Mivel a Roshigumi főhadiszállása Kyoto Mibu nevű kerületében (egy kicsiny faluban) volt, ezért eredetileg Mibu Roshinak hívták őket (Mibu Roninjai), majd ebből lett a "Miburo" - Mibu farkasai. A csoport vezetésében bekövetkezett tisztogatások eredményeképpen (bővebben lsd. Hijikata életrajzát) 1863. augusztusában végre megalakulhatott a Shinsengumi abban a felállásban, amelyet mindannyian ismerünk. Vezetője egy személyben Kondou Isami, alparancsnoka pedig Hijikata Toshizo volt. Annak ellenére, hogy ez a fegyveres testület nagyon rövid ideig tevékenykedett (1863-1868), mégis a japán történelem egyik leghatékonyabb és legnagyobb erővel bíró fegyveres milíciájává vált. A Shinsengumi név kb. annyit tesz, hogy "új, kiválasztott csoport", mivel a shinsen jelentése  "új kiválasztott", a "gumi" pedig csoportot, csapatot, szakaszt jelent.