is the に in ～に関係(が)ない a contraction? Because if the omitted (私は) modifies ある I don't think it makes sense if the に used is the に where something exists, but I thought that it could make sense if it was a contraction of something like について or に対して.
私はあなたに対して関係がない
私はことについて関係がない
