Bien qu’il ne fasse ses débuts aux compétitions d’aviron qu’à l’âge de 25 ans, John O’Neill est déjà un rameur expert. Il grandit sur la côte est de la Nouvelle-Écosse et doit ramer à travers le port de Ketch pour faire des courses pour son père alors qu’il est jeune garçon. C’est là que commence la carrière d’un des plus grands rameurs de la première décennie du XXe siècle. Jeune homme, John sert dans l’Escadre canadienne en mission spéciale pendant la guerre des Boers. À son retour au Canada, il se joint au Club d’aviron St. Mary’s à Halifax, simplement « pour le plaisir ». En moins de deux ans, il se distingue comme le meilleur rameur local, remportant le championnat du Port de Halifax en 1904. Après de nombreuses victoires à travers les Maritimes, son club l’envoyer concourir dans la Middle States Regatta à Philadelphie en 1905. John ne déçoit personne et s’empare du titre en skiff. Il répète cet exploit en 1907 quand la compétition se tient à Springfield, au Massachusetts, et continue à briller en 1908 avec une victoire à l’épreuve en skiff de la U.S. Association. Le couronnement de ses exploits survient en 1909 à la U.S. National Regatta sur la Detroit River. Dans une course extrêmement serrée avec le New-yorkais Dorando Miller, John réussit à prendre de l’avance pour traverser la ligne d’arriver, s’emparant du titre nord-américain en skiff. Il y a peu de données à ce sujet, mais il semble que John O’Neill aura été le premier Canadien à remporter ce championnat. De retour à Halifax, le champion rameur de 32 ans est reçu comme un héros; il est promené à travers les rues dans un carrosse et louangé dans une allocution publique du maire. Il se retire peut après de la compétition mais continue à ramer tout au long de sa vie. Même à l’âge de 89 ans, on peut le voir régulièrement sur les eaux autour du port de Halifax.