Arthur to urodzony w 1863 roku syn Beatrice i Lyle’a Morganów. Jego matka zmarła młodo z nieznanych przyczyn, a ojciec był banitą i rewolwerowcem. W 1874 roku został aresztowany za kradzież, zginął niedługo potem na oczach syna, prawdopodobnie przez powieszenie. Arthur miał wtedy 14 lat.

Około 1877 roku Arthur został przygarnięty przez Dutcha Van der Linde i Hoseę Matthews’a. Wychowywany przez nich przyjął styl życia Dutcha polegającą na życiu poza prawem i z dala od cywilizacji. Arthur był jednym z pierwszych członków Gangu Van Der Linde.

Arthur w młodości poznał dziewczynę Mary Gilis. Młodzi byli w sobie głęboko zakochani, jednak jej rodzina nie akceptowała Arthura i jego stylu życia jako przestępcy wyrwanego spod prawa. Jedyną osobą z rodziny Mary która akceptowała Arthura był jej młodszy brat Jamie którego Arthur nauczył jazdy na koniu. Wkrótce ich związek się rozpadł a Mary ożeniła się z Barrym Lintonem.

W pewnym momencie Arthur w saloonie poznał młodą kelnerkę o imieniu Eliza. Doszło między nimi do zbliżenia co zaowocowało nieplanowaną ciążą. Arthur nie chciał składać obietnic których nie mógłby spełnić, ale zaproponował pomoc ze swojej strony. Kobieta wiedziała o jego stylu życia i to akceptowała. Wkrótce urodził się ich syn-Isaac. Arthur co kilka miesięcy odwiedzał rodzine i spędzał z nią kilka dni po czym ponownie wyruszył w dalszą drogę z gangiem. Kiedy pewnego dnia Arthur postanowił ponownie odwiedzić syna okazało się, że ich dom został spalony a w jego miejscu były wbite dwa drewniane krzyże. W późniejszym czasie odkrył, że zostali oni napadnięci przez włamywaczy którzy okradli i zabili kobietę wraz z chłopcem dla marnych dziesięciu dolarów. Arthur nigdy do końca nie pogodził się ze śmiercią syna i rzadko o nim wspominał.