Alexander Franklin James blev født den 10. januar 1843 i byen Clay i Missouri.. Mens Frank var barn, forlod faderen familien for at grave guld i Californien, og han vendte aldrig tilbage. Deres mor Zelda James opfostrede Frank og hans 4 år yngre bror Jesse James.

Familien James var sydstatsfolk og ejede selv slaver. De støttede sydstatshæren under den amerikanske borgerkrig. I 1862 oprettede William Quantrill en privat guerilla, der bestod af folk som Cole og James Younger. Jesse James og hans bror Frank meldte sig til denne grupper, der kaldtes the Quantrill Raiders.

Gruppen angreb primært nordstatstropperne, men røvede også postvogne, dræbte tilhængere af Abraham Lincoln og hærgede områder i Missouri og Kansas, som Quantrill anså for at være nordstatsvenlige. Gruppen var kendt for at henrette tilfangetagne nordstats soldater.

Den 21. august 1863 begik the Quantrill Raiders en af borgerkrigens mest grusomme handlinger. De angreb byen Lawrence, hvor de dræbte ca. 150 indbyggere og satte ild til over 180 bygninger.

Efter krigen var Jesse og Frank James eftersøgte. De dannede en bande der ud over brødrene James, bestod af Bob Younger, Cole Younger, James Younger, Bill Chadwell, Clell Miller og Charlie Pitts.

Den 13. februar 1866 røvede banden banken i Liberty i Missouri. De følgende år hærgede banden i Missouri, West Virginia, Alabama Arkansas, Iowa, Kansas og Minnesota. De røvede i alt 12 banker, begik 7 togrøverier, 4 dilligencerøverier og et ukendt antal andre forbrydelser. Under disse røverier blev mindst 11 dræbt af banden.

Den 7. september 1876 begik banden røveri mod the First National Bank i byen Northfield i Minnesota. Under røveriet skød Jesse James kassereren, Lee Heywood.

Byens borgere besluttede sig for at gøre modstand, og en større skududveksling startede. Herunder blev Bill Chadwell, Clell Miler og Charlie Pitts dræbt. Youngerbrødrene Bob, Cole og James blev alle såret og taget til fange.

Frank og Jesse James blev også såret, men det lykkedes dem at flygte fra byen. Jesse James gik herefter under jorden, lejede et hus i Nashville i Tennessee under dæknavnet J.D. Howard.

Han begyndte at samle en ny bande som ud over ham selv, bestod af Robert Ford, Charlie Ford og Dick Liddel.

Den 8. oktober 1879 begik Jesse’s ny bande togrøveri mod Chicago & Alton linjen i Glendale i Missouri, udbyttet var 6.000 $. De begik herefter andre røverier og i september 1881 dræbte banden en togkonduktør og en passager under et røveri i Blue Cut i Missouri.

Herefter udstedte guvernøren i Missouri Thomas Crittenden en dusør på 10.000 $ på Jesse James.

Robert Ford, som var medlem af Jesse James bande, kontaktede guvernør Crittenden og tilbød at inkassere dusøren.

Den 3. april 1882 var Robert Ford på besøg i Jesse James’ hjem. Et billede på væggen hang skævt, og Jesse stillede sig op på en stol for at rette på billedet. Robert Ford trak sin pistol og skød Jesse i ryggen.

Robert Ford blev arresteret og dømt til døden for mord. 2 uger senere blev han benådet af guvernør Crittenden og fik udbetalt sin dusør. På Jesse James gravsten står der: Jesse James død den 3.4.1882 skudt af en kujon, hvis navn ikke er værdigt at nævne her.

Frank James vidste at han også kunne blive offer for en snigmorder, og han overgav sig frivilligt til myndighederne den 5. oktober 1882.

Han blev anklaget for mordet på en passager under et togrøveri. Allerede ved starten af retssagen forudsagde anklageren, at Frank James ville blive frikendt, ”da juryens afgørelse allerede er skrevet”. Forsvareren koncentrerede hele sin tale omkring Franks deltagelse i sydstatskrigen, hvor han risikerede sit liv, for at forsvare sydstaternes rettigheder. Og på trods at bevis for at Frank havde dræbt passageren, blev han frikendt af juryen.

Efter sin frifindelse blev Frank James lovlydig, og forsørgede sig ved at optræde og i Cirkus. Han lavede familiens gård til museum og publikum betalte 30 cents for at se Jesse James grav.

Frank døde på familiens gård den 18. februar 1915.